A15CDA数据分析师认证之数据挖掘实战培训.docx

A15CDA数据分析师认证之数据挖掘实战培训.docx

《A15CDA数据分析师认证之数据挖掘实战培训.docx》由会员分享，可在线阅读，更多相关《A15CDA数据分析师认证之数据挖掘实战培训.docx（10页珍藏版）》请在冰豆网上搜索。

A15CDA数据分析师认证之数据挖掘实战培训

CDA数据分析师认证之数据挖掘实战培训

【授课对象】

本课程为参加CDAII（建模分析师）认证的数据分析与数据挖掘专业人员，为数据挖掘高级班，要求有一定的数学基础，掌握概率论和统计理论基础，有一定的数据分析经验。

适合于如下人员：

数据分析师、大数据系统研发人员、大数据系统架构师、业务支撑部等对业务数据分析与挖掘有专业要求的相关人员。

【课程目标】

CDA（CertifiedDataAnalyst）全称“注册数据分析师”，由“CERTIFIEDDATAANALYSTINSTITUTE（CDA数据分析师协会）”发起成立的职业简称，旨在培养正规化、科学化、专业化的数据分析人才队伍，进一步提升数据分析师的职业素养与能力水平，促进数据分析行业的高质量持续快速发展。

CDA数据分析师面向商业职场数据分析，分为三个等级，在国内由人大经济论坛主办资格考试，通过考试者可以获得CDA协会颁发的数据分析师资格证书，此证书代表数据分析师人才技能水平，为企业事业单位选拔和聘用专业人才的参考依据。

本课程为CDAII（建模分析师）课程培训大纲。

本课程基于CDA的认证知识要求，围绕商业问题，全面介绍了数据挖掘的标准流程，数据预处理，数据挖掘方法，数据挖掘模型，模型评估，模型参数优化，等等，使得学员掌握数据挖掘的方法、模型、工具。

通过本课程的学习，达到如下目的：

1、了解数据分析与数据挖掘的基本知识，理解大数据思维方式。

2、掌握数据挖掘的基本过程和步骤，掌握数据挖掘的思路和框架。

3、能够理解分析模型原理，掌握模型应用场景，能够利用模型解决复杂的商业问题。

4、掌握常用的数据模型，能够根据商业问题选择合适的分析模型。

5、熟悉SPSS基本操作，掌握分析操作，能够解读分析结果，并转化为业务策略。

【授课时间】

4~5天时间

【学员要求】

1、每个学员自备一台便携机（必须）。

2、便携机中事先安装好Excel2013软件。

3、便携机中事先安装好SPSSv19软件。

注：

讲师可以提供试用版本软件及分析数据源。

【授课方式】

基础知识精讲+案例讲解+操作演练+实际业务问题分析+SPSS实际操作

本课程突出数据挖掘的实际应用，结合行业的典型应用特点，从实际问题入手，引出相关知识，进行大数据的收集与处理；引导学员思考，构建分析模型，进行数据分析与挖掘，以及数据呈现与解读，全过程演练操作，以达到提升学员的数据综合分析能力，支撑运营决策的目的。

【课程大纲】

第一部分：

数据集基础知识（了解你的数据集）

1、数据集概述

2、数据集的类型

3、数据集属性的类型

Ø标称

Ø序数

Ø度量

4、数据质量三要素

Ø准确性

Ø完整性

Ø一致性

5、数据预处理的内容

Ø数据清理（缺失值、离群值的处理方法）

Ø数据归约（维灾难、维归约、主成分分析）

Ø特征子集选择

Ø特征创建/属性构造

Ø数据离散化和二元化

Ø属性/变量转换

6、数据探索性分析

Ø统计汇总

Ø可视化

演练：

描述性分析（频数、描述、探索、分类汇总）

第二部分：

数据挖掘流程（基础，决定你的高度）

1、数据挖掘概述

2、数据挖掘的标准流程（CRISP-DM）

Ø商业理解

Ø数据准备

Ø数据理解

Ø模型建立

Ø模型评估

Ø模型应用

案例：

4G终端营销项目挖掘过程分析

案例：

客户匹配度模型—数据建模

3、常用数据统计指标

Ø集中程度：

均值、中位数、众数

Ø离开程度：

方差、标准差、极差

Ø分布趋势：

偏度、峰度

Ø理解分布：

正态分布、T分布、F分布

4、SPSS基本操作（预处理）

Ø数据导入

Ø数据排序（排序个案）

Ø重复数据处理（标识重复个案）

Ø缺失值处理（替换缺失值）

Ø生成新变量（计算变量、重新编码）

Ø数据分组（分类汇总）

Ø数据合并（合并文件）

演练：

SPSS基本操作

第三部分：

数据挖掘实战篇

1、参数检验分析（样本均值检验）

商业问题：

如何验证营销效果的有效性？

Ø参数检验概述

✧单样本T检验

✧两独立样本T检验

✧两配对样本T检验

Ø参数检验原理以及步骤

Ø参数检验适用场景

案例：

电信运营商的ARPU值评估分析（单样本）

案例：

信用卡消费金额评估分析（单样本）

案例：

营销方式与产品销量的影响分析（两独立样本）

案例：

吸烟与胆固醇升高的分析（两独立样本）

案例：

营销方式有效性评估（两配对样本）

案例：

减肥效果评估（两配对样本）

2、非参数检验分析（样本分布检验）

商业问题：

这些属性数据的分布情况如何？

如何从数据分布中看出问题？

Ø非参数检验概述

✧单样本检验

✧两独立样本检验

✧两相关样本检验

✧两配对样本检验

Ø非参数检验原理

Ø卡方检验、二项分布、游程检验的原理及适用场景

案例：

死亡分布检验（单样本-卡方检验）

案例：

产品合格率检验（单样本-二项分布）

案例：

身高分布差异检验（单样本-KS检验）

案例：

设备正常工作检验（单样本-随机分布）

案例：

制造工艺差异检验（两独立样本-MW检验）

案例：

训练新方法有效性检验（两配对样本-符号/秩检验）

案例：

促销方式效果检验（多相关样本-Friedman检验）

案例：

客户满意度差异检验（多相关样本-CochranQ检验）

案例：

评委评判黑幕检验（多相关样本-KendallW检验）

3、相关分析（相关程度计算）

商业问题：

这两个属性是否会相互影响？

影响程度大吗？

Ø相关分析概述

Ø计算相关系数的三个公式

案例：

家庭生活开支的相关分析（Pearson简单相关系数）

案例：

营销费用与销售额的相关分析

案例：

哪些因素与汽车销量有相关性

案例：

腰围与体重的相关分析（偏相关分析）

4、方差分析（影响因素分析）

商业问题：

哪些才是影响销量的关键因素？

Ø方差分析原理

Ø方差分析的步骤

Ø方差分析适用场景

Ø如何解读方差分析结果

案例：

终端陈列位置对终端销量的影响分析（单因素）

案例：

广告形式、地区对销量的影响因素分析（多因素）

案例：

2015年大学生工资与父母职业的关系

案例：

饲料对生猪体重的影响分析（协方差分析）

5、回归分析（预测分析）

商业问题：

如何预测未来的销售量（定量分析）？

Ø回归分析概述及适用场景

Ø回归分析的检验过程

Ø如何选择最优回归模型

Ø解读回归分析结果

案例：

推广费用、办公费用与销售额的关系（线性回归）

案例：

人均现金消费支出对人均食品消费支出的影响（曲线回归）

Ø带分类变量的回归分析

Ø比如，如何预测随着季节性变化的销量情况

案例：

员工工龄、性别与终端销售的关系分析

案例：

产品销量的季节性变化预测

6、逻辑回归分析（预测分析）

商业问题：

如果评估用户购买某产品的概率？

Ø逻辑回归分析原理

Ø逻辑回归分析的适用场景

案例：

客户购买预测分析（二元逻辑回归）

案例：

品牌选择预测分析（多项逻辑回归）

7、时间序列分析（预测分析）

商业问题：

随着时间变化，未来的销量变化趋势如何？

Ø时序分析概述

✧移动平均MA模型

✧指数平滑ES模型

✧自回归滑动平均ARIMA模型

✧季节分解模型

Ø时序分析适用场景

案例：

汽车销量预测分析（指数平滑）

案例：

上交所指数收益率预测分析（ARIMA）

案例：

服装销售数据季节性趋势预测分析（季节分解）

第四部分：

高级数据挖掘方法

1、聚类分析（Clustering）

商业问题：

我们的客户有几类？

各类特征是什么？

Ø聚类方法原理介绍

Ø聚类方法适用场景

Ø系统聚类（层次聚类）算法原理

Ø如何判定最佳聚类类别数量

案例：

数据聚类分析--小康指数划分（Q型聚类）

案例：

变量聚类分析--裁判标准一致性分析（R型聚类）

ØK均值聚类（快速聚类）算法原理

案例：

移动三大品牌细分市场合适吗？

案例：

如何评选优秀员工（固定聚类中心）

演练：

如何选择新产品试销地点？

2、决策树分类分析（Classification）

商业问题：

这类客户有什么特征？

有什么潜在销售机会？

Ø决策树原理介绍

Ø构建决策树的三个关键问题

✧如何选择最佳属性来构建节点

✧如何分裂变量

✧修剪决策树

Ø选择最优属性

✧熵、基尼索引、分类错误

✧属性划分增益

Ø如何分裂变量

✧多元划分与二元划分

✧连续变量离散化（最优划分点）

Ø修剪决策树

✧剪枝原则

✧预剪枝与后剪枝

Ø如何评估分类性能

案例：

银行低信用客户特征分析（决策树分类）

3、基于规则的分类

Ø基于规则分类原理介绍

Ø评估规则的质量

Ø构建分类规则：

顺序覆盖法

Ø规则增长策略

4、最近邻分类

5、朴素贝叶斯分类

Ø贝叶斯分类原理

Ø计算类别属性的条件概率

Ø估计连续属性的条件概率

Ø预测分类概率（计算概率）

案例：

评估银行用户拖欠货款的概率

6、人工神经网络（ANN）

Ø神经网络基本原理

Ø神经网络的结构

ØANN关键问题

ØMLP与RBF

案例：

评估银行用户拖欠货款的概率

7、判别分析

Ø判别分析原理

Ø距离判别法

Ø典型判别法

Ø贝叶斯判别法

案例：

MBA学生录取判别分析

案例：

上市公司类别评估

8、关联分析（Association）

商业问题：

购买A产品的顾客还常常要购买其他什么产品？

Ø关联规则原理介绍

Ø关联规则的两个关键参数

✧支持度

✧置信度

ØApriori算法介绍

ØFP-Growth算法介绍

Ø关联规则适用场景

案例：

商品套餐设计、商品交叉销售（关联分析）

9、客户价值评估RFM模型

商业问题：

如何评估客户的价值？

不同价值客户的营销策略有什么区别？

ØRFM模型介绍

ØRFM模型用户分类与业务策略

ØRFM与客户活跃度分析

案例：

客户价值如何评估（什么才是VIP用户）

案例：

如何选择促销用户（响应模型与促销）

案例：

回头客用户特征分析（决策树分析）

10、主成分分析

Ø主成分分析方法介绍

Ø主成分分析基本思想

Ø主成分分析步骤

案例：

评估汽车购买者关注的哪些因素

第五部分：

统计图表篇（看图说话）

1、柱状图/线图/饼图/高低图/箱图/散点图/直方图

2、图形的表达及适用场景

案例：

各种图形绘制

实战1：

客户流失预警与客户挽留之真实数据分析实践

实战2：

银行信用风险分析

结束：

课程总结与问题答疑。