主成分分析法的原理应用及计算步骤Word文档下载推荐.docx
《主成分分析法的原理应用及计算步骤Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《主成分分析法的原理应用及计算步骤Word文档下载推荐.docx（15页珍藏版）》请在冰豆网上搜索。
aplXp,由数学知识可知，每一个主成分所提取的信息量可用其方差来度量，其方差Var（F1）越大，表示F1包含的信息越多。
常常希望第一主成分F1所含的信息量最大，因此在所有的线性组合中选取的F1应该是XI,X2,…，XP的所有线性组合中方差最大的，故称F1为第一主成分。
如果第一主成分不足以代表原来p个指标的信息，再考虑选取第二个主成分指标F2，为有
效地反映原信息，F1已有的信息就不需要再出现在F2中，即F2与F1要保持独立、不相关，用数学语言表达就是其协方差Cov（F1,F2）=0，所以F2是与F1不
相关的X1,X2,…，XP的所有线性组合中方差最大的，故称F2为第二主成分，
依此类推构造出的F1、F2、……、Fm为原变量指标X1、X2……XP第一、第第m个主成分。
F2
-ai1X1'
ai2X2'
...'
aipXp
—a?
iXi■a?
2X2・・・a?
pXp
Fm
-am1X1
am2X2...ampXp
根据以上分析得知:
（1）Fi与Fj互不相关，即Cov（Fi,Fj）=0,并有Var（Fi）=ai'
工ai，其中工为X的协方差阵
（2）F1是X1,X2,…，Xp的一切线性组合（系数满足上述要求）中方差最
大的,……,即Fm是与F1,F2,……,Fm-1都不相关的X1,X2,…，XP的所有线性组合中方差最大者。
F1,F2,…，F（m<
p）为构造的新变量指标，即原变量指标的第一、第
第m个主成分
由以上分析可见，主成分分析法的主要任务有两点：
（1）确定各主成分Fi（i=1,2,…，m）关于原变量Xj（j=1,2,…，p）
的表达式，即系数aij（i=1,2,…，m；
j=1,2,…，p）。
从数学上可以证明，原变量协方差矩阵的特征根是主成分的方差，所以前m个较大特征根就代
表前m个较大的主成分方差值；
原变量协方差矩阵前m个较大的特征值■i（这样选取才能保证主成分的方差依次最大）所对应的特征向量就是相应主成分Fi
表达式的系数ai,为了加以限制，系数a启用的是i对应的单位化的特征向量，即有ai'
ai=1。
（2）计算主成分载荷，主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度：
P（Zk,x）二.@0,=1,2,川，p;
k=1,2,|||,m）
三、主成分分析法的计算步骤
主成分分析的具体步骤如下：
（1）计算协方差矩阵
工=（Sij）pp,其中
计算样品数据的协方差矩阵:
i,j=1,2,…，p
1n
Sij（Xki—Xi）（Xkj—Xj）
nT心
（2）求出工的特征值'
i及相应的正交化单位特征向量ai
工的前m个较大的特征值-1—'
2—…’m>
0就是前m个主成分对应的方差，■i
对应的单位特征向量ai就是主成分Fi的关于原变量的系数，则原变量的第i个
主成分Fi为：
Fi=ai'
X
主成分的方差（信息）贡献率用来反映信息量的大小，:
i为:
m
i=1j//.j
i丄
（3）选择主成分
最终要选择几个主成分，即F1,F2,……,Fm中m的确定是通过方差（信息）累计贡献率G（m）来确定
mp
G（m）-、、“
iAk=1
当累积贡献率大于85%寸，就认为能足够反映原来变量的信息了，对应的m就是抽取的前m个主成分。
（4）计算主成分载荷
主成分载荷是反映主成分Fi与原变量Xj之间的相互关联程度，原来变量Xj（j=1，2,…，p）在诸主成分Fi（i=1，2,…，n）上的荷载lij（i=1，2,…，mj=1，2,…，p）。
：
l（Zi,XJ「Hi=1,2川l,m;
j=1,2川l,p）
在SPSS软件中主成分分析后的分析结果中，“成分矩阵”反应的就是主成分载荷矩阵。
（5）计算主成分得分
计算样品在m个主成分上的得分：
Fi=a%X1a2iX2…apiXpi=1，2，…，m
实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的
影响。
消除数据的量纲有很多方法，据变换：
常用方法是将原始数据标准化，即做如下数
*Xj-Xj
i=1,2,…，n;
j=1,2,…，P
x
ijSj
其中：
Xj=—7X
n—
21n
ij，Sj_（Xj
nT◎
~Xj）2
根据数学公式知道，①任何随机变量对其作标准化变换后，其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。
②另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即,标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。
也就是说，在标准化前后变量的相关系数矩阵不变化。
根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是：
☆计算相关系数矩阵
☆求出相关系数矩阵的特征值-及相应的正交化单位特征向量ai
☆选择主成分☆计算主成分得分
总结：
原指标相关系数矩阵相应的特征值i为主成分方差的贡献，方差的
p
贡献率为，:
i越大，说明相应的主成分反映综合信息的能力越强，y
可根据i的大小来提取主成分。
每一个主成分的组合系数（原变量在该主成分上的载荷）ai就是相应特征值-i所对应的单位特征向量。
主成分分析法的计算步骤
1、原始指标数据的标准化采集p维随机向量x=（x必，…,Xp）T）n个样品x=（Xii,Xi2,...,Xip）T，i=1,2,…，n
n>
p，构造样本阵，对样本阵元进行如下标准化变换：
二2X1切2（呵-勺）’
其中7n'
}口一1，得标准化阵z。
2、对标准化阵Z求相关系数矩阵
R=斶严=—T
3、解样本相关矩阵
R的特征方程
p个特征根,确定主成分
刀Z巧r.*n
>
O.85I
按^确定m值，使信息的利用率达85%以上，对每个入,j=l,2,...,m,解方程组
Rb=jb得单位特征向量。
4、将标准化后的指标变量转换为主成分
=占硏、j=1,2,?
7i
U1称为第一主成分，U2称为第二主成分，…,Up称为第P主成分。
5、对m个主成分进行综合评价
对m个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。
一、主成分分析基本原理
概念：
主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。
从数学角度来看，这是一种降维处理技术。
思路：
一个研究对象，往往是多要素的复杂系统。
变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这
记原变量指标为X
为Z1，Z2，Z3，…，Z
_X11X12…xj
XX21…X22xp，设它们们
降维处理后的综合指标，即新变量
系数Iij的确定原则:
m（m<
p），贝U
Xn1iXn2丄iXnp
一乙=l11x1+l12x2+
Z2—121X"
!
+l22X2
亠Lx
1pp
亠亠lcx
2pp
样问题就简单化了。
原理：
假定有n个样本，每个样本共有p个变量，构成一个nxp阶的数据矩阵，
j=1,2,l-X艸相互无关；
mm1八1m2八2m卩
Z2
1Zi与乙（i工j;
i，:
-
2乙是X1,X2,…,Xp的一切线性组合中方差最大者，Z2是与乙不相关的X1,X2，…,
，Zm-1都不相关的X1,
Xp的所有线性组合中方差最大者；
Zm是与Z1,Z2,
X2,…XP，的所有线性组合中方差最大者。
新变量指标Z1,Z2，…，Zm分别称为原变量指标X1,X2，…，Xp的第1,第2，…,
第m主成分
从以上的分析可以看出，主成分分析的实质就是确定原来变量Xj（j=1,
2，…，p）在诸主成分乙（i=1,2,…，m上的荷载Ij（i=1,2,…，mj=1,2,…，p）。
从数学上可以证明，它们分别是相关矩阵m个较大的特征值所对应的特征向量。
二、主成分分析的计算步骤
1、计算相关系数矩阵
其中eij表示向量ei的第j个分量。
4、
计算主成分载荷
lij=p（Zi,Xj）Wiej（i,j=1,2,L,p）
Z11Z12Z1mI
、主成分分析法在一SPSS中的操作1、指标数据选取、收集与录入（表1）
Znm
_Zn1Zn2
苦1冷褂10牛科卍訂曲妊贍
地诫
GDP
人均GDP
农业
IfltU值
T业
怡加值
第三产业
用加值
BJE9t
产赴资
基本建
设赴蹩
零善总葡
初关出
口总■额
矩方财
政收入
辽F
5458.2
13000
14B83.3
1376.2
2258.4
1315.9
529.0
123.7
399.7
山东
10550.0
11643
13900
3502.5
3351.0
升级会员 