【课程目标】

随着大数据分析的需求越来越旺盛，大数据分析工具也越来越琳琅满目，然而，绝大多数的分析工具都只具有单一用途，无法满足企业的复杂的多样化的全面的业务分析需求，因此分析工具的选择成为了一个挑战。

一个良好的分析工具必须满足如下要求：

1） 易学易用易操作。

2） 分析效率要高。

3） 满足业务分析需求。

如果要说前两个要求，显然类似于Excel/Power BI/Tableau等工具都是满足要求的，但此类工具却无法解决更复杂的业务问题，比如影响因素分析、客户行为预测/精准营销、客户群划分、产品交叉销售、产品销量预测等等，这些需求用Excel/PBI等工具就难以胜任了，需要用到更高级的数据挖掘工具，比如IBM SPSS工具。IBM SPSS工具是面向非专业人士的高级的分析工具（挖掘工具），它提供大量的分析方法和分析模型，能够解决的业务问题更丰富，提供了更加强大的业务数据分析功能，并且它封装了具体的分析算法，即使你没有深厚的技能能力，也能够胜任复杂的数据分析和挖掘。

本课程面向数据分析部等专门负责数据分析与挖掘的人士，专注大数据挖掘工具SPSS Statistics的培训。

本课程从实际的业务需求出发，对数据分析及数据挖掘技术进行了全面的介绍，将数据挖掘标准流程、分析思路、分析方法、分析模型，全部落地在SPSS工具中，通过大量的工具操作和演练，帮助学员熟练掌握SPSS工具的使用，并能够将SPSS工具在实际的业务数据分析中满地，实现“知行合一”。

通过本课程的学习，达到如下目的：

1、 了解大数据挖掘的标准过程和挖掘步骤。

2、 掌握基本的统计分析，常用的影响因素分析。

3、 理解数据挖掘的常见模型，原理及适用场景。

4、 熟练掌握SPSS基本操作，能利用SPSS解决实际的商业问题。

【授课时间】

2~4天时间，或根据客户需求选择（每天6个小时）

【授课对象】

市场部、业务支撑部、数据分析部、运营分析部等对业务数据分析有较高要求的相关人员。

【学员要求】

1、 每个学员自备一台便携机(必须)。

2、 便携机中事先安装好Microsoft Office Excel 2013版本及以上。

3、 便携机中事先安装好SPSS Statistics v24版本及以上。

注：讲师可以提供试用版本软件及分析数据源。

【授课方式】

基础知识精讲 + 案例演练 + 实际业务问题分析 + 工具实际操作

本课程突出数据挖掘的实际应用，结合行业的典型应用特点，从实际问题入手，引出相关知识，进行大数据的收集与处理；引导学员思考，构建分析模型，进行数据分析与挖掘，以及数据呈现与解读，全过程演练操作，以达到提升学员的数据综合分析能力，支撑运营决策的目的。

【课程大纲】

第一部分： 数据挖掘标准流程

1、 数据挖掘概述

2、 数据挖掘的标准流程（CRISP-DM）

Ø 商业理解

Ø 数据准备

Ø 数据理解

Ø 模型建立

Ø 模型评估

Ø 模型应用

案例：客户流失预测及客户挽留

3、 数据集的基本知识

a) 存储类型

b) 统计类型

c) 角度

4、 SPSS工具简介

第二部分： 数据预处理过程

1、 数据预处理的基本步骤

Ø 数据读取、数据理解、数据处理、变量处理、探索分析

2、 数据预处理的主要任务

Ø 数据集成：多个数据集的合并

Ø 数据清理：异常值的处理

Ø 数据处理：数据筛选、数据精简、数据平衡

Ø 变量处理：变量变换、变量派生、变量精简

Ø 数据归约：实现降维，避免维灾难

3、 数据集成

Ø 外部数据读入：Txt/Excel/SPSS/Database

Ø 数据追加（添加数据）

Ø 变量合并（添加变量）

4、 数据理解（异常数据处理）

Ø 取值范围限定

Ø 重复值处理

Ø 无效值/错误值处理

Ø 缺失值处理

Ø 离群值/极端值处理

Ø 数据质量评估

5、 数据准备：数据处理

Ø 数据筛选：数据抽样/选择（减少样本数量）

Ø 数据精简：数据分段/离散化（减少变量的取值个数）

Ø 数据平衡：正反样本比例均衡

6、 数据准备：变量处理

Ø 变量变换：原变量取值更新，比如标准化

Ø 变量派生：根据旧变量生成新的变量

Ø 变量精简：降维，减少变量个数

7、 数据降维

Ø 常用降维方法

Ø 如何确定变量个数

Ø 特征选择：选择重要变量，剔除不重要的变量

² 从变量本身考虑

² 从输入变量与目标变量的相关性考虑

² 对输入变量进行合并

Ø 因子分析（主成分分析）

² 因子分析的原理

² 因子个数如何选择

² 如何解读因子含义

案例：提取影响电信客户流失的主成分分析

8、 数据探索性分析

Ø 常用统计指标分析

Ø 单变量：数值变量/分类变量

Ø 双变量：交叉分析/相关性分析

Ø 多变量：特征选择、因子分析

演练：描述性分析（频数、描述、探索、分类汇总）

第三部分： 数据可视化篇

1、 数据可视化的原则

2、 常用可视化工具

3、 常用可视化图形

Ø 柱状图、条形图、饼图、折线图、箱图、散点图等

4、 图形的表达及适用场景

演练：各种图形绘制

第四部分： 影响因素分析篇

问题：如何判断一个因素对另一个因素有影响？比如营销费用是否会影响销售额？产品价格是否会影响销量？产品的陈列位置是否会影响销量？

风险控制的关键因素有哪些？如何判断？

1、 影响因素分析的常见方法

2、 相关分析（衡量变量间的的相关性）

问题：这两个属性是否会相互影响？影响程度大吗？营销费用会影响销售额吗？ 

Ø 什么是相关关系

Ø 相关系数：衡量相关程度的指标

Ø 相关系数的三个计算公式

Ø 相关分析的假设检验

Ø 相关分析的基本步骤

Ø 相关分析应用场景

演练：体重与腰围的关系

演练：营销费用会影响销售额吗

演练：哪些因素与汽车销量有相关性

演练：通信费用与开通月数的相关分析

案例：酒楼生意好坏与报纸销量的相关分析

Ø 偏相关分析

Ø 距离相关分析

3、 方差分析

问题：哪些才是影响销量的关键因素？

Ø 方差分析解决什么问题

Ø 方差分析种类：单因素/双因素可重复/双因素无重复

Ø 方差分析的应用场景

Ø 方差分析的原理与步骤

Ø 如何解决方差分析结果

演练：终端摆放位置与终端销量有关吗？

演练：开通月数驿客户流失的影响分析

演练：客户学历对消费水平的影响分析

演练：广告和价格是影响终端销量的关键因素吗

演练：营业员的性别、技能级别产品销量有影响吗？

案例：2015年大学生工资与父母职业的关系

案例：医生洗手与婴儿存活率的关系

演练：寻找影响产品销量的关键因素

Ø 多因素方差分析原理

Ø 多因素方差结果的解读

演练：广告形式、地区对销量的影响因素分析（多因素）

Ø 协方差分析原理

演练：饲料对生猪体重的影响分析（协方差分析）

4、 列联分析（两类别变量的相关性分析）

Ø 交叉表与列联表

Ø 卡方检验的原理

Ø 卡方检验的几个计算公式

Ø 列联表分析的适用场景

案例：套餐类型对客户流失的影响分析

案例：学历对业务套餐偏好的影响分析

案例：行业/规模对风控的影响分析

第五部分： 数据建模过程篇

预测建模六步法

Ø 选择模型：基于业务选择恰当的数据模型

Ø 属性筛选：选择对目标变量有显著影响的属性来建模

Ø 训练模型：采用合适的算法对模型进行训练，寻找到最合适的模型参数

Ø 评估模型：进行评估模型的质量，判断模型是否可用

Ø 优化模型：如果评估结果不理想，则需要对模型进行优化

Ø 应用模型：如果评估结果满足要求，则可应用模型于业务场景

数据挖掘常用的模型

Ø 数值预测模型：回归预测、时序预测等