主成分分析法的原理应用及计算步骤_精品文档资料下载.pdf

1、为此，人们希望探索一种更为有效的解决方法，它既能大更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。得到广泛应用的分析方法。主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，通常综合指标（主成分）有以下几个特点：主成分主成分个数远远少于原有变量的个数个数远远少于原有变量的个数 原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少

2、分析过程中的计算工作量。主成分主成分能够反映原有变量的绝大部分信息能够反映原有变量的绝大部分信息 因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。主成分主成分之间之间应该互不相关应该互不相关 通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。主成分主成分具有命名解释性具有命名解释性 总之，总之，主成分分析法主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因

3、子具有一定的命名解释性的多元统计分析方法少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。二、基本原理 主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标 X1，X2，XP（比如p个指标），重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。那么综合指标应该如何去提取，使其既能最大程度的反映原变量Xp所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。设 F1 表 示 原 变 量 的 第 一 个 线 性 组 合 所 形 成 的 主 成 分 指 标，即11112121.ppFa Xa Xa X,由数学知识可知，每一个主成分所提

4、取的信息量可用其方差来度量，其方差其方差 Var（Var（F F1）1）越大，表示越大，表示 F F1 1 包含的信息越多包含的信息越多。常常希望第一主成分 F1 所含的信息量最大，因此在所有的线性组合中选取的 F1 应该是 X1，X2，XP 的所有线性组合中方差最大的，故称 F1 为第一主成分。如果第一主成分不足以代表原来 p 个指标的信息，再考虑选取第二个主成分指标 F2，为有效地反映原信息，F1 已有的信息就不需要再出现在 F2 中，即 F2 与 F1 要保持独立、不相关，用数学语言表达就是其协方差 Cov（F1,F2）=0，所以 F2 是与 F1 不相关的 X1，X2，XP 的所有线性

5、组合中方差最大的，故称 F2 为第二主成分，依此类推构造出的 F1、F2、Fm 为原变量指标 X1、X2XP 第一、第二、第 m 个主成分。11111221221122221122.ppppmmmmppFa Xa Xa XFa Xa XaXFa XaXaX 根据以上分析得知：（1）Fi 与 Fj 互不相关，即 Cov（Fi，Fj）=0,并有 Var（Fi）=aiai，其中为 X 的协方差阵 （2）F1 是 X1，X2，Xp 的一切线性组合（系数满足上述要求）中方差最大的,即 Fm 是与 F1，F2，Fm1 都不相关的 X1，X2，XP 的所有线性组合中方差最大者。F1，F2，Fm（mp）为构造

6、的新变量指标，即原变量指标的第一、第二、第 m 个主成分。由以上分析可见，主成分分析法的主要任务有两点：（1）确定各主成分 Fi（i=1，2，m）关于原变量 Xj（j=1，2，p）的表达式，即系数ija（i=1，2，m；j=1，2，p）。从数学上可以证从数学上可以证明，原变量明，原变量协方差矩阵的特征根是主成分的方差，所以前矩阵的特征根是主成分的方差，所以前 m m 个较大特征根就代个较大特征根就代表前表前 m m 个较大的主成分方差值；个较大的主成分方差值；原变量原变量协方差矩阵矩阵前前 m m 个较大的特征值个较大的特征值i（这（这样选取才能样选取才能保证主成分的方差依次最大保证主成分的方

7、差依次最大）所对应的特征向量就是所对应的特征向量就是相应主成分相应主成分 FiFi表达式的系数表达式的系数ia，为了加以限制，系数为了加以限制，系数ia启用的是启用的是i对应的单位化的特征向量，对应的单位化的特征向量，即有即有ai ai=1=1。（2）计算主成分载荷，主成分载荷是反映主成分 Fi 与原变量 Xj 之间的相互关联程度：（,）（,1,2,;1,2,）kikkiP Z xaip km 三、主成分分析法的计算步骤 主成分分析的具体步骤如下：（1）计算协方差矩阵 计算样品数据的协方差矩阵：=（sij）pp，其中 11（）（）1nijkiikjjksxxxxn i，j=1，2，p（2）求出

8、的特征值i及相应的正交化单位特征向量ia 的前 m 个较大的特征值 12m0,就是前 m 个主成分对应的方差，i对应的单位特征向量ia就是主成分 Fi 的关于原变量的系数，则原变量的第 i 个主成分 Fi 为：Fi=iaX 主成分的方差（信息）贡献率用来反映信息量的大小，i为：1/miiii（3）选择主成分 最终要选择几个主成分，即 F1,F2,Fm 中 m 的确定是通过方差（信息）累计贡献率 G（m）来确定 11（）/pmikikG m 当累积贡献率大于 85%时，就认为能足够反映原来变量的信息了，对应的 m就是抽取的前 m 个主成分。（4）计算主成分载荷 主成分载荷是反映主成分 Fi 与原

9、变量 Xj 之间的相互关联程度，原来变量原来变量X Xj j（j=1j=1，2 2，p p）在诸主成分）在诸主成分 F Fi i（i=1i=1，2 2，m m）上的荷载）上的荷载 l lijij（i=1i=1，2 2，m m；j=1j=1，2 2，p p）。）。：（,）（1,2,;1,2,）ijiijl Z Xa im jp 在 SPSS 软件中主成分分析后的分析结果中，“成分矩阵”反应的就是主成分载荷矩阵。（5）计算主成分得分 计算样品在 m 个主成分上的得分：1122.iiipipFa Xa Xa X i=1，2，m 实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的影响。

10、消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数据变换：*1,2,.,;1,2,.,ijjijjxxxin jps 其中：11njijixxn，2211（）1njijjisxxn 根据数学公式知道，任何随机变量对其作标准化变换后，其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。即标准化后的变量协方差矩阵就是其相关系数矩阵。另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即，标准化后的变量的协方差矩阵就是原变量的相关系数矩阵标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。也就是说，在标准在标准化前后变量的相关系数矩阵不变化

11、。化前后变量的相关系数矩阵不变化。根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是：计算相关系数矩阵 求出相关系数矩阵的特征值i及相应的正交化单位特征向量ia 选择主成分 计算主成分得分 总结：原指标相关系数矩阵相应的特征值 i 为主成分方差的贡献，方差的贡献率为 1/piiii，i越大，说明相应的主成分反映综合信息的能力越强，可根据 i 的大小来提取主成分。每一个主成分的组合系数（原变量在该主成分上的载荷）ia就是相应特征值 i 所对应的单位特征向量。主成分分析法的计算步骤主成分分析法的计算步骤 1、原始指

12、标数据的标准化采集 p 维随机向量 x=（x1,X2,.,Xp）T）n 个样品 xi=（xi1,xi2,.,xip）T，i=1,2,n，np，构造样本阵，对样本阵元进行如下标准化变换：其中，得标准化阵 Z。2、对标准化阵 Z 求相关系数矩阵 其中,。3、解样本相关矩阵 R 的特征方程得 p 个特征根,确定主成分 按 确定 m 值，使信息的利用率达 85%以上，对每个 j,j=1,2,.,m,解方程组Rb=jb 得单位特征向量。4、将标准化后的指标变量转换为主成分 U1称为第一主成分,U2 称为第二主成分,Up 称为第 p 主成分。5、对 m 个主成分进行综合评价 对 m 个主成分进行加权求和，

13、即得最终评价值，权数为每个主成分的方差贡献率。一、主成分分析基本原理 概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。从数学角度来看，这是一种降维处理技术。思路：一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。原理：假定有 n 个样本，每个样本共有 p 个变量，构成一个 np 阶的数据矩阵，npnnppxxxxxxxxxX212222111211 记原变量指标为 x1，x2，xp，设它们降维处理后的综合

14、指标，即新变量为 z1，z2，z3，zm（mp），则 系数 lij的确定原则：zi与 zj（ij；i，j=1，2，m）相互无关；z1是 x1，x2，xP的一切线性组合中方差最大者，z2是与 z1不相关的 x1，x2，xP的所有线性组合中方差最大者；zm是与 z1，z2，zm1都不相关的 x1，x2，xP，的所有线性组合中方差最大者。新变量指标 z1，z2，zm分别称为原变量指标 x1，x2，xP的第 1，第 2，第 m 主成分。从以上的分析可以看出，主成分分析的实质就是确定原来变量 xj（j=1，2，p）在诸主成分 zi（i=1，2，m）上的荷载 lij（i=1，2，m；从数学上可以证明，它们

15、分别是相关矩阵 m 个较大的特征值所对应的特征向量。二、主成分分析的计算步骤 1 1、计算相关系数矩阵计算相关系数矩阵 rij（i，j=1，2，p）为原变量xi与xj的相关系数，rij=rji，其计算公式为 pmpmmmppppxlxlxlzxlxlxlzxlxlxlz22112222121212121111.pppppprrrrrrrrrR212222111211 nknkjkjikinkjkjikiijxxxxxxxxr11221）（）（）（2 2、计算特征值与特征向量计算特征值与特征向量 解特征方程 ，常用雅可比法（Jacobi）求出特征值，并使其按大小顺序排列 ；分别求出对应于特征值 的特征向量 ，要求 =1，即 其中 表示向量 的第j个分量。3、计算主成分贡献率及累计贡献率 贡献率：累计贡献率：一般取累计贡献率达 85%-95%的特征值，所对