数据挖掘概念与技术.docx
《数据挖掘概念与技术.docx》由会员分享，可在线阅读，更多相关《数据挖掘概念与技术.docx（18页珍藏版）》请在冰豆网上搜索。
数据挖掘概念与技术
数据挖掘概念与技术
第一课
分类
一、数据挖掘及知识的定义
1、数据挖掘定义：
从大量数据中提取或“挖掘”知识；
2、数据挖掘技术：
分类、预测、关联和聚类等；
3、数据挖掘过程：
数据的清理、集成、选择、变换、挖掘、模型评估、知
识表示；
4、知识定义：
知识就是“压缩”一浓缩就是精华！
1）OccamRazor:
因不宜超出果之需!
2）
3）
信息论：
嫡H（X）=-工p（x）logp（x）
MDL准则:
minimumdescriptionlength
终咗L第—课分类
三、SPSS软件及Logistic回归知识预备
1、回归方法分类
一个
因变
量丿
分类型因变量（y）—Logistic回归分析
生存时间因变量（t）…生存风险回归分析
r连续型因变量（y）…线性回归分析
时间序列因变量（t）…时间序列分析
分类
三、SPSS软件及Logistic回归知识预备
2、回归方法适用前提
1）大样本，样本量为自变量个数的20倍左右;
2）因变量或其数学变换与自变量有线性关系；
3）扰动项（误差项）符合正态分布；
4）自变量间不存在诸如多重共线性等关系；
5）误差项方差不变;
等等。
第一课分类
三、SPSS软件及Logistic回归知识预备
3、Logistic回归方法介绍
1）Logit变换
Logit变换是Logistic回归模型的基础。
现实中常要研究某一事件A发生的概率P及P值的大
小与某些影响因此之间的关系，但由于P对X的变化在P=0或P=1的附近不是很敏感的，或说是缓慢的，比如像可靠系统，可靠度P已经是0.998T,即使再改善条件和系统结构，它的可靠度增长也只能是在小数点后面的笫三位或第四位之后，于是自然希望寻找一个P的函数形式什（P）,使它在P=0或P=1附近变化幅度较大，且最好函数形式简单，根据数学上导数的意义，提出用气件反映讯p）是在P附近的变化是很适合的，同时希望P=（）或P=1时，驾弹大的值，因此取晋2“（1［肿卩:
&（。
）=InP
1-P
第一课
分类
三、SPSS软件及Logistic回归知识预备
3、Logistic回归方法介绍
2）Logistic回归
设因变量是一个二分类变量，其取值为=1和=0。
影响取值的个自变量分别为…则Logistic变换如
下式表示：
P
皿口）一炕+0N+02/+…
1
神经网络与Logistic回归优缺点对比
1、神经网络优缺点
1）优点：
数据类型无要求，高度智能，强“鲁棒”性，可进行非线性拟合，能容忍缺失值，异常值的出现等；
2）缺点：
“黑箱”过程导致知识结果难于解释。
2、Logistic回归方法优缺点
1）优点：
线性回归方程的知识结果使得所获知识易于解释;
2）缺点：
数据类型要求高，回归方法成立前提多，只适用于线性拟合，缺失值，
异常值会导致结果精确度大为下降。
3、二者区别：
硬计算与软计算,知识表达三迂霁
一、相关概念
1、神经网络的“过拟合”现象
1）“过拟合”指的是神经网络对训练集进行训练的过程中，无法识别数据中的
“噪音”，并且把“噪音”的影响毫无保留的存贮于网络参数（权重、偏置）中。
“过拟合”会导致神经网络对测试集进行分类、预测时，产生不必要的偏差。
2）解决“过似合”现象办法之一为N-fold交差验证。
2、MSE、NMSE等概念的定义
MSE=
n
i=\
1）MSE:
均方误差（注：
与均方差的区别），其定义为误差平方和除以它的自由
CHONGQINGUNIVERSITY
第二课
预测
一、相关概念
2）NMSE定义：
NMSE二
MSE
=云
注：
此处的方差號为样本总体方差。
NMSE的物理意义为标准化的
MSEO
第二课
预测
二、预测实验
1、实验目的:
1）理解分类与预测区别
2）熟练使用神经网络软件NeuroSolutions解决预测问题。
3）学会运用灵敏度分析，对属性进行灵敏度测量。
4）学会通过多次训练模型，避免模型停止在局部最优。
2、实验原理
1）神经网络方法原理
X—>||—>Y
2）多元线性统计方法原理（注意什么是线性，其内涵是什么？
）
丫=0。
+0內+…・,+0丸〃
一、聚类分析定义、特征、应用及评估
1、定义：
将物理或抽象的集合分组成为曲类似的对象组成的多个类的过程
被称为聚类。
1）聚类的方法类型
（1）划分方法：
I<—平均和I<—中心算法；
（2）层次方法：
系统聚类；
（3）基于密度方法：
种类较多，对发现数据“噪音”有优势；
（4）基于网格方法：
小波聚类为典型，效率高，复杂度低；
（5）
CHONGQINGUNIVERSITY
基于模型方法：
统计学中的分类树方法一利用信息爛、贝叶斯冤计原理为分类原则、竞争学习与自组织特征图。
一、聚类分析定义、特征、应用及评估
2、聚类与分类的区别
1）聚类所要划分的类未知，而分类要划分的类已知；
2）聚类不依赖预先定义的类和带类标号的训练实例，因此它是观察式的学习，而不是示例学习；
3）聚类的有监督与分类的无监督的区别。
3、聚类分析的应用：
是一种重要的数据挖掘方法，广泛应用于信用卡欺诈、定制市场（移动客户划分及定价等）、医疗分析。
特别是孤立点的挖掘与分析，有着重要的实际应用。
4、聚类质量的评估：
相异度
CHONGQINGUNIVERSITY
二、K—平均聚类方法、系统聚类及决策树方法
1、K—平均聚类方法
1）原理：
随机选择k个对象，每个对象初始地代表一个类的平均值或中心，对剩余每个对象，根据其到类中心的距离，被划分到最近的类；然后重新计算每个类的平均值。
不断重复这个过程,直到所有的样本都不能再分配为止（指中心点改变很小的时候，称之为收敛）。
2）特征：
k事先定好；创建一个初始划分；再采用迭代的重定位技术进行；不必确定距离矩阵；比系统聚类法运算量要小；适用于处理庞大的样本数据；适用于发现球状类。
3）缺点：
平均值必须有定义，对于有些分类变量的集合不适用一；不同的初始值，结果可能不同；有些k均值算法的结果与数据输入顺序有关，如在线k均值算法，用爬山式技术（hill-climbing）来寻找最优解，容易陷入局部极小值；对孤立点敏感。
二、K—平均聚类方法、系统聚类及决策树方法
1、系统聚类
1）原理：
SPSS软件中，HiumrchicalCluster过程使用的就是系统聚类法来进行分析，该方法
的原理是先将所有N个变量看成不同的N类，然后将性质最接近（距离最近）的两类合并为一类；再从这N-1类中找到最接近的两类加以合并，依此类推，直到所以的变量被合成一类为止。
得到该结果后,再根据具体问题和聚类结果决定对该事物应该分成几类。
显然，一量某变量被划定在一个类别中后，它的分类结果将不会再改变，这是它和非系统聚类的显著区别。
2）特征：
聚类变量可以为连续及离散性质，表达结果层次丰富；变量间如存在多重共线性，对聚类结果影响较大，应先通过主成分分析方法或剔除权重较小变量再进行分析。
3）缺点：
由于需要反复计算距离，计算量较大；异常值对聚类结果影响巨大；。
看酢决策树
、关联规则挖掘相关理论
1、信息论
美国工程师Shannon于1948年发表“AMathum吐icalTheoryofcommunication”，标致着信息论的诞生。
Shannon于1949年发表“CommunicationTheoryofSecrecysystrm”,以信息论为基础，用概率统计为数学手段对保密通信问题进行了分析。
由香农提出的保密系统模型目前仍然是现代密码学的基本模型
FR^igqinguniversity
一、关联规则挖掘相关理论
2、信息论基本原理
1）信息量
信息是指消息消除抨的不确定性，消息的信息量就是它消除抨的不确定
性的量度。
假设随机变量为X=（X“2,…，兀）率定义为，它的传P（xj
/（x.）=-log2p（x.）
CHONGQINGUNIVERSITY
一、关联规则挖掘相关理论
2、信息论基本原理
2）信息嫡
各个互不相容事件的自信息量的统计平均值（期望值）为该事件集合的信
息嫡:
H（X）二—工p（xz）log2p（兀）
1=1
、关联规则挖掘相关理论
2、信息论基本原理
3）联合蠣
nm
二-工工p（x’）log2pCxy）
/=17=1
HONGQINGUNIVERSITY
、关联规则挖掘相关理论
2、信息论基本原理
4）条件*商
H（X/Y）二—工工p（x.y｝）log2p（x,./儿）
>1j=l
二E尸（儿）工P（X,/儿）log2P（兀/儿）
J=1i=l
、关联规则挖掘相关理论
2、信息论基本原理
5）互信息
/（y7;%/）=log2
p（yj/xi）
P（E
决策树
Z=12・・・〃；丿2,・・・z
、关联规则挖掘相关理论
2、信息论基本原理
6）平均互信息量
/（X；丫）=HP（兀儿・”（兀;兀）
匸1>i
Pg
nm
匸17=1
、关联规则挖掘相关理论
2、信息论基本原理
6）平均互信息量、嬌及条件嬌之间的关系
/（X;Y）=》5>3y）k）g2
i=lJ=1
pgy）
P（xJ
nm
=）吨2
1
P（xJ
nm
+H）log2P（兀/儿）
/=1J=l
=H（X）—H（X/Y）
二、关联规则简单案例
1、蔬菜案例
颜色
形状
蔬菜
红
圆
番茄
紫
长
茄子
绿
长
黄瓜
二、关联规则简单案例
2、蔬菜案例惰、条件炳及互信息（信息增益）
1）爛、条件爛：
H（蔬菜）=?
H（蔬菜,颜色）二?
H（蔬菜，形状）二?
2）信息增益
1（蔬菜，颜色）二H（蔬菜）-H（蔬菜，颜色）二?
1（蔬菜，形状）二H（蔬菜）・H（蔬菜，形状）二？
3）结论：
信息增益越大，就用之作为决策树第一分类属性。
二、关联规则简单案例
3、蔬菜案例分类树如下:
决策树
三、关联规则稍复杂案例
1、分类树属性选择度量标准
信息增益Informationgain（ID3）
增益比率Gainration（C4.5）
基尼指数——Giniindex（SLIQ,SPRING
三、关联规则稍复杂案例
2、ID3算法基本思想
构造决策树，决策树的每个节点对应一个非类别属性，每条边对应该属性的每个可能值。
以信息嫡的下降速度作为选取测试属性的标准，即所选的测试属性是从根到当前节点的路径上尚未被考虑的具有最高信息增益的属性。
三、关联规则稍复杂案例
3、ID3算法案例
序号
年龄
收入
学生
信用率
购买电脑
1
<=30
高
否
正常
否
2
<=30
高
否
好
否
3
31・-40
咼
否
正常
是
4
>40
中
否
正常
是
5
>40
低
是
正常
是
6
>40
低
是
好
否
7
31…40
低
是
好
是
8
<=30
中
否
正常
否
9
<=30
低
是
正常
是
10
>40
中
是
正常
是
11
<=30
中
是
好
是
12
31…40
中
否
好
■£■■■A
ZCw.
13
31・・・40
高
是
正常
是
14
>40
中
否
好
1
三、关联规则稍复杂案例
3、ID3算法案例
54
■分类C1:
买电脑=“是”H（C1，C2,年龄）=区刃（2/5,3/5）+区"（4/4,0/4）
■分类C2:
买电脑=“否"+A//（3/5,2/5）=0.6935
■H（C1,C2）=H（9/74,14
5/14）=0.940
■计算年龄的增益：
因此
/（Cl,C2,年龄）=H（C1,C2）一H（ChC2,年龄）二0.21
年龄
C1
C2
H（C15C2）
<=30
2
3
0.971
30...40
4
0
0
>40
3
2
0.971
相似地
/（C1,C2,收入）=0.029
/（C1,C2,学生）=0.151
/（Cl,C2,信用率）=0.048
:
第四课
三、稍复杂案例
否是
4、ID3算例决策树呈现
年龄?
<=30
/
\
30..40
/
学生？
是
决策树
Ga加（年龄）=0・21
Ga加（学生）=0.151
Ga加（信用率）=0.048
>40
Go加（收入）=0.029
决策树方法总结
4、SPSS16.0中决策树分类算法介绍
•Chi-SquaredAutomaticInteractionDetector（CHAID）：
一迅速有效率探索数据的多元树统计算法，可依据所希望的分类结果来建立其区隔及数据概况说明。
•ExhaustiveCHAID：
改良自CHAID算法，可切割预测变量的每种可能来做探究。
•ClassificationandRegressionTree（CART）：
二元树算法，可切割数据并产生精确同质的子集合。
•QuickUnbiasedEfficientStatisticalTree（QUEST）：
无偏误选择变量及迅速有效率建立二元树的算法
5、决策树的应用：
市场营销、数据库营销、教学研究、信用度研究、
生物医学研究及质量管理研究。
决策树方法总结
1＞决策树
1）一个树性的结构
2）内部节点上选用一个属性进行分割
3）每个分叉都是分割的一个部分
4）叶了节点表示一个分布
2＞决策树生成算法分成两个步骤
1）树的生成
•开始，数据都在根节点
•递归的进行数据分片
2）树的修剪
•去掉一些可能是噪音或者异常的数据
3、决策树使用：
对未知数据进行分割
按照决策树上采用的分割属性逐层往下，直到一个叶子节点一
升级会员 