spss聚类分析_精品文档.ppt

1、第九章 把对象分类聚类分析分类u物以类聚、人以群分；u但根据什么分类呢？u如要想把中国的县分类，就有多种方法u可以按照自然条件来分，比如考虑降水、土地、日照、湿度等，u也可考虑收入、教育水准、医疗条件、基础设施等指标；u既可以用某一项来分类，也可以同时考虑多项指标来分类。聚类分析聚类分析u由由于于不不同同的的指指标标项项对对重重要要程程度度或或依依赖赖关关系系是是相相互互不不同同的的，所所以以也也不不能能用用平平均均的的方方法法，因为这样会忽视相对重要程度的问题。因为这样会忽视相对重要程度的问题。u所以需要进行多元分类，即聚类分析。所以需要进行多元分类，即聚类分析。u最最早早的的聚聚类类分分析

2、析是是由由考考古古学学家家在在对对考考古古分分类类中中研研究究中中发发展展起起来来的的，同同时时又又应应用用于于昆昆虫虫的的分分类类中中，此此后后又又广广泛泛地地应应用用在在天天气气、生生物物等方面。等方面。聚类分析u对一个数据，既可以对变量(指标)进行分类(相当于对数据中的列分类)，也可以对观测值(事件，样品)来分类(相当于对数据中的行分类)。u当然，不一定事先假定有多少类，完全可以按照数据本身的规律来分类。u本章要介绍的分类的方法称为聚类分析（cluster analysis）。对变量的聚类称为R型聚类，而对观测值聚类称为Q型聚类。它们在数学上是无区别的。饮料数据（drink.txt）u1

3、6种饮料的热量、咖啡因、钠及价格四种变量 如何聚类？u聚聚类类分分析析就就是是要要找找出出具具有有相相近近程程度度的的点点或或类聚为一类；类聚为一类；u如如何何衡衡量量这这个个“相相近近程程度度”？就就是是要要根根据据“距距离离”来确定。来确定。u这这里里的的距距离离含含义义很很广广，凡凡是是满满足足4个个条条件件（后后面面讲讲）的的都都是是距距离离，如如欧欧氏氏距距离离、马马氏氏距离距离，相似系数也可看作为距离。，相似系数也可看作为距离。如何度量距离远近？u如果想要对100个学生进行分类，而仅知道他们的数学成绩，则只好按照数学成绩分类；这些成绩在直线上形成100个点。这样就可以把接近的点放到

4、一类。u如果还知道他们的物理成绩，这样数学和物理成绩就形成二维平面上的100个点，也可以按照距离远近来分类。如何度量距离远近？u三维或者更高维的情况也是类似；只不过三维以上的图形无法直观地画出来而已。u在饮料数据中，每种饮料都有四个变量值。这就是四维空间点的问题了。两个距离概念u按照远近程度来聚类需要明确两个概念：一个是点和点之间的距离，一个是类和类之间的距离。u点间距离有很多定义方式。最简单的是欧氏距离。u当然还有一些和距离相似但起同样作用的概念，比如相似性等，两点越相似，就相当于距离越近。两个距离概念u由一个点组成的类是最基本的类；如果每一类都由一个点组成，那么点间的距离就是类间距离。但是

5、如果某一类包含不止一个点，那么就要确定类间距离。u类间距离是基于点间距离定义的：比如两类之间最近点之间的距离可以作为这两类之间的距离，也可以用两类中最远点之间的距离或各类的中心之间的距离来作为类间距离。两个距离概念u在计算时，各种点间距离和类间距离的选择是通过统计软件的选项实现的。不同的选择的结果会不同，但一般不会差太多。向量x=(x1,xp)与y=(y1,yp)之间的距离或相似系数:欧氏距离欧氏距离:Euclidean平方欧氏距离平方欧氏距离:Squared Euclidean夹角余弦夹角余弦(相似系数相似系数1):cosinePearson correlation(相似系数相似系数2):C

6、hebychev:Maxi|xi-yi|Block(绝对距离绝对距离):S Si|xi-yi|Minkowski:当当变量的测量值相差悬殊时变量的测量值相差悬殊时,要先进行标准化要先进行标准化.如如R为为极差极差,s 为为标准差标准差,则标准化的数据为每个观测值减去均值后再除则标准化的数据为每个观测值减去均值后再除以以R或或s.当观测值大于当观测值大于0时时,有人采用有人采用Lance和和Williams的的距距离离类Gp与类Gq之间的距离Dpq(d(xi,xj)表示点xiGp和xjGq之间的距离)最短距离法最短距离法:最长距离法最长距离法:重心法重心法:离差平方和离差平方和:(Wald)类平

7、均法类平均法:有了上面的点间距离和类间距离的概念，就可以介绍聚类的方法了。这里介绍两个简单的方法。事先要确定分多少类：k-均值聚类u前面说过，聚类可以走着瞧，不一定事先确定有多少类；但是这里的k-均值聚类（k-means cluster，也 叫 快 速 聚 类，quick cluster）却要求你先说好要分多少类。u假定你说分3类，这个方法还进一步要求你事先确定3个点为“聚类种子”(SPSS软件自动为你选种子)；也就是说，把这3个点作为三类中每一类的基石。事先要确定分多少类：k-均值聚类u然后，根据和这三个点的距离远近，把所有点分成三类。再把这三类的中心(均值)作为新的基石或种子(原来“种子”

8、就没用了)，再重新按照距离分类。u如此迭代下去，直到达到停止迭代的要求（比如，各类最后变化不大了，或者迭代次数太多了）。显然，前面的聚类种子的选择并不必太认真，它们很可能最后还会分到同一类中。下面用饮料例的数据来做k-均值聚类。假定要把这假定要把这1616种饮料分成种饮料分成3 3类。利用类。利用SPSSSPSS，只迭只迭代了三次就达到目标了（计算机选的种子还可以）代了三次就达到目标了（计算机选的种子还可以）。这样就可以得到最后的三类的中心以及每类有。这样就可以得到最后的三类的中心以及每类有多少点。多少点。根根据据需需要要，可可以以输输出出哪哪些些点点分分在在一一起起。结结果果是是：第第一一类

9、类为为饮饮料料1 1、1010；第第二二类类为为饮饮料料2 2、4 4、8 8、1111、1212、1313、1414；第第三三类类为剩下的饮料为剩下的饮料3 3、5 5、6 6、7 7、9 9、1515、1616。SPSS实现(聚类分析)uK-均值聚类u以数据drink.sav为例，在SPSS中选择AnalyzeClassifyK-Means Clusteru然后把calorie（热量）、caffeine（咖啡因）、sodium（钠）、price（价格）选入Variablesu在Number of Clusters处选择3（想要分的类数）u如果想要知道哪种饮料分到哪类，则选Save，再选Cl

10、uster Membership等u注意k-均值聚类只能做Q型聚类，如要做R型聚类，需要把数据阵进行转置事先不用确定分多少类：分层聚类u另一种聚类称为分层聚类或系统聚类（hierarchical cluster）。开始时，有多少点就是多少类。u它第一步先把最近的两类（点）合并成一类，然后再把剩下的最近的两类合并成一类；u这样下去，每次都少一类，直到最后只有一大类为止。越是后来合并的类，距离就越远。对于饮料聚类，对于饮料聚类，SPSSSPSS输出为输出为“冰柱图冰柱图”(icicle)(icicle)聚类要注意的问题u聚类结果主要受所选择的变量影响。如果去掉一些变量，或者增加一些变量，结果会很不

11、同。u相比之下，聚类方法的选择则不那么重要了。因此，聚类之前一定要目标明确。聚类要注意的问题u另外就分成多少类来说，也要有道理。只要你高兴，从分层聚类的计算机结果可以得到任何可能数量的类。u但是，聚类的目的是要使各类之间的距离尽可能地远，而类中点的距离尽可能的近，并且分类结果还要有令人信服的解释。这一点就不是数学可以解决的了。SPSS中的聚类分析与过程SPSS中的聚类分析uSpss中的聚类功能常用的有两种：中的聚类功能常用的有两种：u快速聚类（迭代过程）：快速聚类（迭代过程）：K-Means Clusteru分层聚类：分层聚类：HierarchicalK-Means Cluster原理原理u首

12、首先先，选选择择n个个数数值值型型变变量量参参与与聚聚类类分分析析，最最后后要要求的求的聚类数为聚类数为k个个；u其其次次，由由系系统统选选择择k个个(聚聚类类的的类类数数）观观测测量量（也也可由用户指定）可由用户指定）作为聚类的种子作为聚类的种子。u第第三三，按按照照距距离离这这些些类类中中心心的的距距离离最最小小的的原原则则把把所有观测量（样品）分派到各类重心所在的类中去。所有观测量（样品）分派到各类重心所在的类中去。u第第四四，这这样样每每类类中中可可能能由由若若干干个个样样品品，计计算算每每个个类中各个变量的均值，以此作为第二次迭代的中心；类中各个变量的均值，以此作为第二次迭代的中心；

13、u第第五五，然然后后根根据据这这个个中中心心重重复复第第三三、第第四四步步，直直到中心的迭代标准达到要求时，聚类过程结束。到中心的迭代标准达到要求时，聚类过程结束。K-Means Cluster聚类过程聚类过程u由由AnalyzeClassify K-Means Clusteru将各变量放入将各变量放入Variable u输入最后聚类的个数输入最后聚类的个数Hierarchical Cluster聚类聚类u分层聚类由两种方法：分解法和凝聚法。分层聚类由两种方法：分解法和凝聚法。u分分层层聚聚类类的的功功能能：即即可可进进行行样样品品的的聚聚类类，也可进行变量的聚类。也可进行变量的聚类。u分分层

14、层聚聚类类的的原原理理：即即我我们们前前面面介介绍绍过过的的系系统聚类方法的原理和过程。统聚类方法的原理和过程。Hierarchical Cluster聚类聚类u分层聚类的中要进行以下的选择：分层聚类的中要进行以下的选择：u数据的标准化数据的标准化u测测度度方方法法的的选选择择：距距离离方方法法的的选选择择或或相似性、关联程度的选择相似性、关联程度的选择u聚聚类类方方法法的的选选择择：即即以以什什么么方方法法聚聚类类，spss中提供了中提供了7种方法可进行选择种方法可进行选择u输出图形的选择：树形图或冰柱图输出图形的选择：树形图或冰柱图聚类方法的优缺点聚类方法的优缺点u类平均法比较好类平均法比

15、较好u因因为为与与类类平平均均法法相相比比，最最短短距距离离法法和和重重心心法法是是“空空间间浓浓缩缩”，即即并并类类的的距距离离范范围围小小，区区别类的灵敏度差；别类的灵敏度差；u与与类类平平均均法法相相比比，其其他他方方法法是是“空空间间扩扩张张”，即并类距离范围大，区别类的灵敏度强。，即并类距离范围大，区别类的灵敏度强。快速聚类法与层次聚类法应用区别快速聚类法与层次聚类法应用区别u层层次次聚聚类类法法的的聚聚类类过过程程是是单单方方向向的的，一一旦旦某某个个样样品品（case）进进入入某某一一类类，就就不不可可能能从从该类出来，再归入其他的类。该类出来，再归入其他的类。u而而快快速速聚聚

16、类类法法受受奇奇异异值值、相相似似测测度度和和不不合合适适的的聚聚类类变变量量的的影影响响较较小小，对对于于不不合合适适的的初初始分类可以进行反复调整始分类可以进行反复调整.快速聚类法与层次聚类法应用区别快速聚类法与层次聚类法应用区别u在在聚聚类类分分析析发发展展的的早早期期，层层次次聚聚类类法法应应用用普普遍遍，其其中中尤尤以以组组间间类类平平均均法法和和离离差差平平方方和和法应用最广。法应用最广。u后后来来快快速速聚聚类类方方法法逐逐步步被被人人们们接接受受，应应用用日益增多。现在是两者相结合，取长补短。日益增多。现在是两者相结合，取长补短。u首首先先使使用用层层次次聚聚类类法法确确定定分分类类数数，检检查查是是否否有有奇奇异异值值，去去除除奇奇异异值值后后，对对剩剩下下的的案案例例重重新新进进行行分分类类，把把用用层层次次聚聚类类法法得得到到的的各各个个类类的的重重心心，作作为为迭迭代代法法的的初初始始分分类类中中心心，对对样本进行重新调整。样本进行重新调整。SPSS实现(聚类分析)u分层聚类u对 drink.sav数 据 在 SPSS中 选 择 AnalyzeClassifyH