主成分分析实例及含义讲解.ppt

主成分分析实例及含义讲解.ppt

《主成分分析实例及含义讲解.ppt》由会员分享，可在线阅读，更多相关《主成分分析实例及含义讲解.ppt（106页珍藏版）》请在冰豆网上搜索。

主成分分析和因子分析主成分分析和因子分析吴喜之吴喜之1汇报什么？

汇报什么？

假定你是一个公司的财务经理，掌握了公司的所有数据，比如假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等分工和教育程度等等。

如果让你向上面介绍公司状况，你能够把这些指标和数字都如果让你向上面介绍公司状况，你能够把这些指标和数字都原原封不动地摆出去吗封不动地摆出去吗？

当然不能。

当然不能。

你必须要把各个方面作出高度概括，你必须要把各个方面作出高度概括，用一两个指标简单明了地用一两个指标简单明了地把情况说清楚。

把情况说清楚。

2主成分分析主成分分析每个人都会遇到有每个人都会遇到有很多变量很多变量的数据。

的数据。

比比如如全全国国或或各各个个地地区区的的带带有有许许多多经经济济和和社社会会变变量量的的数数据据；各各个个学校的研究、教学等各种变量的数据等等。

学校的研究、教学等各种变量的数据等等。

这这些些数数据据的的共共同同特特点点是是变变量量很很多多，在在如如此此多多的的变变量量之之中中，有有很很多多是是相相关关的的。

人人们们希希望望能能够够找找出出它它们们的的少少数数“代代表表”来来对对它它们们进行描述。

进行描述。

本本章章就就介介绍绍两两种种把把变变量量维维数数降降低低以以便便于于描描述述、理理解解和和分分析析的的方方法法：

主主成成分分分分析析（principalprincipalcomponentcomponentanalysisanalysis）和和因因子子分分析析（factorfactoranalysisanalysis）。

实实际际上上主主成成分分分分析析可可以以说说是是因因子子分分析析的一个特例的一个特例。

在引进主成分分析之前，先看下面的例子。

在引进主成分分析之前，先看下面的例子。

3成绩数据（成绩数据（student.sav）100个个学学生生的的数数学学、物物理理、化化学学、语语文文、历历史史、英英语语的的成成绩绩如如下下表（部分表（部分）。

）。

4从本例可能提出的问题从本例可能提出的问题目目前前的的问问题题是是，能能不不能能把把这这个个数数据据的的66个个变变量量用一两个综合变量来表示呢？

用一两个综合变量来表示呢？

这一两个综合变量包含有多少原来的信息呢？

这一两个综合变量包含有多少原来的信息呢？

能能不不能能利利用用找找到到的的综综合合变变量量来来对对学学生生排排序序呢呢？

这这一一类类数数据据所所涉涉及及的的问问题题可可以以推推广广到到对对企企业业，对学校进行分析、排序、判别和分类等问题。

对学校进行分析、排序、判别和分类等问题。

5空间的点空间的点例例中中的的的的数数据据点点是是六六维维的的；也也就就是是说说，每每个个观观测测值值是是6维维空空间间中中的一个点。

我们希望把的一个点。

我们希望把6维空间用低维空间表示。

维空间用低维空间表示。

先先假假定定只只有有二二维维，即即只只有有两两个个变变量量，它它们们由由横横坐坐标标和和纵纵坐坐标标所所代代表表；因因此此每每个个观观测测值值都都有有相相应应于于这这两两个个坐坐标标轴轴的的两两个个坐坐标标值值；如如果果这这些些数数据据形形成成一一个个椭椭圆圆形形状状的的点点阵阵（这这在在变变量量的的二二维维正正态态的假定下是可能的）的假定下是可能的）那那么么这这个个椭椭圆圆有有一一个个长长轴轴和和一一个个短短轴轴。

在在短短轴轴方方向向上上，数数据据变变化化很很少少；在在极极端端的的情情况况，短短轴轴如如果果退退化化成成一一点点，那那只只有有在在长长轴轴的的方方向向才才能能够够解解释释这这些些点点的的变变化化了了；这这样样，由由二二维维到到一一维维的的降降维就自然完成了。

维就自然完成了。

67椭球的长短轴椭球的长短轴当当坐坐标标轴轴和和椭椭圆圆的的长长短短轴轴平平行行，那那么么代代表表长长轴轴的的变变量量就就描描述述了了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。

数据的主要变化，而代表短轴的变量就描述了数据的次要变化。

但但是是，坐坐标标轴轴通通常常并并不不和和椭椭圆圆的的长长短短轴轴平平行行。

因因此此，需需要要寻寻找找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。

椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。

如如果果长长轴轴变变量量代代表表了了数数据据包包含含的的大大部部分分信信息息，就就用用该该变变量量代代替替原先的两个变量（舍去次要的一维），降维就完成了。

原先的两个变量（舍去次要的一维），降维就完成了。

椭圆（球）的长短轴相差得越大，降维也越有道理。

椭圆（球）的长短轴相差得越大，降维也越有道理。

89主轴和主成分主轴和主成分对对于于多多维维变变量量的的情情况况和和二二维维类类似似，也也有有高高维维的的椭椭球球，只不过无法直观地看见罢了。

只不过无法直观地看见罢了。

首首先先把把高高维维椭椭球球的的主主轴轴找找出出来来，再再用用代代表表大大多多数数数数据据信信息息的的最最长长的的几几个个轴轴作作为为新新变变量量；这这样样，主主成成分分分析就基本完成了。

分析就基本完成了。

注注意意，和和二二维维情情况况类类似似，高高维维椭椭球球的的主主轴轴也也是是互互相相垂垂直直的的。

这这些些互互相相正正交交的的新新变变量量是是原原先先变变量量的的线线性性组合，叫做主成分组合，叫做主成分（principalcomponent）。

10主成分之选取主成分之选取正正如如二二维维椭椭圆圆有有两两个个主主轴轴，三三维维椭椭球球有有三三个个主主轴轴一一样，有几个变量，就有几个主成分。

样，有几个变量，就有几个主成分。

选选择择越越少少的的主主成成分分，降降维维就就越越好好。

什什么么是是标标准准呢呢？

那那就就是是这这些些被被选选的的主主成成分分所所代代表表的的主主轴轴的的长长度度之之和和占占了了主主轴轴长长度度总总和和的的大大部部分分。

有有些些文文献献建建议议，所所选选的的主主轴轴总总长长度度占占所所有有主主轴轴长长度度之之和和的的大大约约85%即即可可，其其实实，这这只只是是一一个个大大体体的的说说法法；具具体体选选几几个个，要要看看实际情况而定。

实际情况而定。

11主成分分析的数学要要寻寻找找方方差差最最大大的的方方向向。

即即使使得得向向量量X的的线线性性组组合合aX的方差最大的方向的方差最大的方向a.而而Var（aX）=aCov（X）a;由由于于Cov（X）未未知知；于于是是用用X的的样样本本相相关关阵阵R来来近近似似.因因此此，要要寻寻找找向向量量a使使得得aRa最最大大（注注意意相相关关阵阵和和协协方方差差阵阵差差一一个个常常数数记得相关阵和特征值问题吗记得相关阵和特征值问题吗?

回顾一下吧回顾一下吧!

选择几个主成分呢选择几个主成分呢?

要看要看“贡献率贡献率.”12对于我们的数据，对于我们的数据，SPSSSPSS输出为输出为这这里里的的InitialEigenvalues就就是是这这里里的的六六个个主主轴轴长长度度，又又称称特特征征值值（数数据据相相关关阵阵的的特特征征值值）。

头头两两个个成成分分特特征征值值累累积积占占了了总总方方差差的的81.142%。

后后面面的的特特征征值值的的贡贡献献越越来来越少。

越少。

13特征值的贡献还可以从特征值的贡献还可以从SPSS的所谓碎石图看出的所谓碎石图看出14怎么解释这两个主成分。

前面说过主成分是原始六个变怎么解释这两个主成分。

前面说过主成分是原始六个变量的线性组合。

是怎么样的组合呢？

量的线性组合。

是怎么样的组合呢？

SPSSSPSS可以可以输出下面输出下面的表。

的表。

这这里里每每一一列列代代表表一一个个主主成成分分作作为为原原来来变变量量线线性性组组合合的的系系数数（比比例例）。

比比如如第第一一主主成成分分为为数数学学、物物理理、化化学学、语语文文、历历史史、英英语语这这六六个个变变量量的的线线性性组组合合，系系数数（比比例例）为为-0.806,-0.674,-0.675,0.893,0.825,0.836。

15如如用用xx11,xx22,xx33,xx44,xx55,xx66分分别别表表示示原原先先的的六六个个变变量量，而而用用yy11,yy22,yy33,yy44,yy55,yy66表表示示新新的的主主成成分分，那那么么，第第一一和和第第二二主主成分为成分为这这些些系系数数称称为为主主成成分分载载荷荷（loading），它它表表示示主主成成分分和和相相应应的的原先变量的相关系数。

原先变量的相关系数。

比比如如y1表表示示式式中中x1的的系系数数为为-0.806，这这就就是是说说第第一一主主成成分分和和数数学学变量的相关系数为变量的相关系数为-0.806。

相相关关系系数数（绝绝对对值值）越越大大，主主成成分分对对该该变变量量的的代代表表性性也也越越大大。

可可以以看看得得出出，第第一一主主成成分分对对各各个个变变量量解解释释得得都都很很充充分分。

而而最最后后的的几个主成分和原先的变量就不那么相关了。

几个主成分和原先的变量就不那么相关了。

16可以把第一和第二主成分的载荷可以把第一和第二主成分的载荷点出一个二维图以直观地显示它点出一个二维图以直观地显示它们如何解释原来的变量的。

这个们如何解释原来的变量的。

这个图叫做载荷图。

图叫做载荷图。

17该图该图左面三个点是数学、物理、化学三科左面三个点是数学、物理、化学三科，右边三个点是语文、历史、外右边三个点是语文、历史、外语三科。

语三科。

图中的六个点由于比较挤，不易分清，但只要认识到这些点的坐图中的六个点由于比较挤，不易分清，但只要认识到这些点的坐标是前面的第一二主成分载荷，坐标是前面表中第一二列中的数目，还是标是前面的第一二主成分载荷，坐标是前面表中第一二列中的数目，还是可以识别的。

可以识别的。

18因子分析因子分析主主成成分分分分析析从从原原理理上上是是寻寻找找椭椭球球的的所所有有主主轴轴。

因因此此，原原先先有有几几个个变变量量，就有几个主成分。

就有几个主成分。

而而因因子子分分析析是是事事先先确确定定要要找找几几个个成成分分，这这里里叫叫因因子子（factor）（比比如如两两个个），那就找两个。

，那就找两个。

这这使使得得在在数数学学模模型型上上，因因子子分分析析和和主主成成分分分分析析有有不不少少区区别别。

而而且且因因子子分分析析的的计计算算也也复复杂杂得得多多。

根根据据因因子子分分析析模模型型的的特特点点，它它还还多多一一道道工工序序：

因因子旋转（子旋转（factorrotation）；）；这个步骤可以使结果更好。

这个步骤可以使结果更好。

当然，对于计算机来说，因子分析并不比主成分分析多费多少时间。

当然，对于计算机来说，因子分析并不比主成分分析多费多少时间。

从从输输出出的的结结果果来来看看，因因子子分分析析也也有有因因子子载载荷荷（factorloading）的的概概念念，代代表表了了因因子子和和原原先先变变量量的的相相关关系系数数。

但但是是在在因因子子分分析析公公式式中中的的因因子子载载荷荷和和主主成成分分分分析析中中的的因因子子载载荷荷位位置置不不同同。

因因子子分分析析也也给给出出了了二二维维图图；但但解解释和主成分分析的载荷图类似。

释和主成分分析的载荷图类似。

19主成分分析与因子分析的公式上的区别主成分分析与因子分析的公式上的区别主成分分析主成分分析因子分析因子分析（mex=eigen（cor（z）；ex$values12.873313591.796660090.214836890.099934050.01525537$vectorshouseservicesemployschoolpoppop0.3427304-0.601629270.05951715-0.204032740.6894972617school0.