主成分分析讲解PPT资料.ppt

主成分分析讲解PPT资料.ppt

《主成分分析讲解PPT资料.ppt》由会员分享，可在线阅读，更多相关《主成分分析讲解PPT资料.ppt（43页珍藏版）》请在冰豆网上搜索。

AB10/25/20225Dept.ofEpidemio&

Biostat,SPH10/25/20226Dept.ofEpidemio&

Biostat,SPH10/25/20227Dept.ofEpidemio&

Biostat,SPH10/25/20228Dept.ofEpidemio&

Biostat,SPH协方差矩阵协方差矩阵样本的方差样本的方差-协方差矩阵（协方差矩阵（variance-covariancematrix）如果有如果有p个观测变量个观测变量，则样本则样本的协方差矩阵记为的协方差矩阵记为10/25/20229Dept.ofEpidemio&

Biostat,SPH相关矩阵相关矩阵如果有如果有p个观测变量个观测变量，其相，其相关阵（关阵（correlationmatrix）记为记为10/25/202210Dept.ofEpidemio&

Biostat,SPH矩阵的特征值和特征向量矩阵的特征值和特征向量对于方阵对于方阵A，如存在常数如存在常数及非零向量及非零向量x，使使Ax=x则为A的一个特征的一个特征值，x为与与对应的矩的矩阵A的特征向量。

的特征向量。

n介方介方阵有有n对特征特征值和特征向量和特征向量10/25/202211Dept.ofEpidemio&

Biostat,SPH正交向量（阵）、单位向量正交向量（阵）、单位向量正交向量：

正交向量：

a=（a1,ap）,b=（b1,bp）如果如果ab=a1b1+apbp=0,则称则称a、b正交正交单位向量：

向量单位向量：

向量a=（a1,ap），如果如果则称则称a为单位向量为单位向量正交阵：

正交阵：

n阶方阵阶方阵A，如果如果AA=AA=I，则称则称A为为n阶正交阵，其中阶正交阵，其中A的列向量（或行向量）为正交向量，的列向量（或行向量）为正交向量，A=A-110/25/202212Dept.ofEpidemio&

Biostat,SPH10/25/202213Dept.ofEpidemio&

Biostat,SPH10/25/202214Dept.ofEpidemio&

Biostat,SPH10/25/202215Dept.ofEpidemio&

Biostat,SPH10/25/202216Dept.ofEpidemio&

Biostat,SPH10/25/202217Dept.ofEpidemio&

Biostat,SPH主成分的概念主成分的概念1设设x1,x2,xp为为p维随机变量维随机变量X1,X2,Xp的标准化变换的标准化变换如果其线性组合如果其线性组合满足满足则称则称C1为第一主成分。

为第一主成分。

10/25/202218Dept.ofEpidemio&

Biostat,SPH主成分的概念主成分的概念2若若满足满足则称则称C2为第二主成分。

为第二主成分。

类似地，共可得到至多类似地，共可得到至多p个主成分。

个主成分。

10/25/202219Dept.ofEpidemio&

Biostat,SPH主主成分的性质成分的性质主成分主成分C1，C2，Cp具有以下性质：

具有以下性质：

（1）主成分间互不相关主成分间互不相关Corr（Ci，Cj）=0ij

（2）组组合合系系数数（ai1，ai2，aip）构构成成的的向向量量为为单单位向量位向量（3）各主成分的方差是依次递减的，各主成分的方差是依次递减的，即即Var（C1）Var（C2）Var（Cp）（4）总方差不增不减，总方差不增不减，即即Var（C1）+Var（C2）+Var（Cp）=Var（x1）+Var（x2）+Var（xp）=p10/25/202220Dept.ofEpidemio&

Biostat,SPH主主成分的计算成分的计算1设设R为为X1,X2,Xp的的相关矩阵，则存在相关矩阵，则存在12p0，和正交矩阵和正交矩阵A，使使其中其中i为相关矩阵为相关矩阵R的第的第i个特征值个特征值（eigenvalue）（ai1ai2aip）则是相关矩阵则是相关矩阵R的第的第i个特征值对应的特征向个特征值对应的特征向量量。

i是第是第i个主成分的方差个主成分的方差10/25/202221Dept.ofEpidemio&

Biostat,SPH主成分的计算主成分的计算2记记主成分主成分C=（C1C2Cp），则则C=Ax即即10/25/202222Dept.ofEpidemio&

Biostat,SPH主成分的计算主成分的计算3因子模型（全分量模型）表达形式因子模型（全分量模型）表达形式x=AC即即矩阵矩阵A称载荷矩阵，反映各主成分对原始称载荷矩阵，反映各主成分对原始变量变量x各分量的贡献大小。

各分量的贡献大小。

10/25/202223Dept.ofEpidemio&

Biostat,SPH主成分的计算主成分的计算4因子模型（全分量模型）表达因子模型（全分量模型）表达-主成分标准化变换主成分标准化变换10/25/202224Dept.ofEpidemio&

Biostat,SPHx=Lclij是是xj和和ci的相关系数的相关系数SPSS输出的系数矩阵是输出的系数矩阵是L矩阵矩阵10/25/202225Dept.ofEpidemio&

Biostat,SPH实例实例城市男生形态资料城市男生形态资料数据来自方积乾数据来自方积乾医学统计学与电脑试验医学统计学与电脑试验第第22版版10/25/202226Dept.ofEpidemio&

Biostat,SPH实例主成分分析结果特征值（方差）及其比例10/25/202227Dept.ofEpidemio&

Biostat,SPH主成分分析结果L矩阵注意注意L矩阵的下标，是列在前，行在后矩阵的下标，是列在前，行在后10/25/202228Dept.ofEpidemio&

Biostat,SPH主成分分析结果L矩阵注意注意L矩阵的下标，是列在前，行在后矩阵的下标，是列在前，行在后10/25/202229Dept.ofEpidemio&

Biostat,SPH主成分和原变量的关系观察观察L矩阵，由相关系数做出解释矩阵，由相关系数做出解释主成分未必一定有明确的解释主成分未必一定有明确的解释选取有明确解释的主成分做综合指标，选取有明确解释的主成分做综合指标，主成分得分就是主成分得分就是“综合指数综合指数”。

10/25/202230Dept.ofEpidemio&

Biostat,SPH实例的标准化第一主成分得分10/25/202231Dept.ofEpidemio&

Biostat,SPH实例的标准化第一、二主成分得分10/25/202232Dept.ofEpidemio&

Biostat,SPH主主成分数目的保留成分数目的保留降维问题降维问题保留多少个主成分取决于保留部分的累保留多少个主成分取决于保留部分的累积方差在方差总和中所占百分比，它标积方差在方差总和中所占百分比，它标志着前几个主成分概括信息之多寡志着前几个主成分概括信息之多寡。

实际上就是看特征值实际上就是看特征值的大小的大小保留多少主成分为宜主要根据实际问题保留多少主成分为宜主要根据实际问题和经验决定，并无严格统计规则。

和经验决定，并无严格统计规则。

10/25/202233Dept.ofEpidemio&

Biostat,SPH主主成分分析的应用成分分析的应用综合指标的抽取综合指标的抽取主成分回归主成分回归解决自变量严重共线性问题解决自变量严重共线性问题主成分判别主成分判别解决解释变量的共线性问题解决解释变量的共线性问题变量聚类中计算相似系数变量聚类中计算相似系数因子分析因子分析10/25/202234Dept.ofEpidemio&

Biostat,SPH例例-主成分回归主成分回归22例胎儿受精龄（例胎儿受精龄（Y,周）与胎儿外型测周）与胎儿外型测量指标：

量指标：

均数均数标准差标准差身高（身高（X1,cm）33.059.71头围（头围（X2,cm）23.266.86体重（体重（X3,g）936.9690.3试求由试求由X1、X2、X3推算推算Y的回归方程的回归方程10/25/202235Dept.ofEpidemio&

Biostat,SPH例例-主成分回归主成分回归结果结果1直接做多重回归结果直接做多重回归结果10/25/202236Dept.ofEpidemio&

Biostat,SPHX1、X2、X3与与Y的相关阵的相关阵X1X2X3YX11X20.9981X30.9440.9471Y0.9520.9430.970110/25/202237Dept.ofEpidemio&

Biostat,SPH主成分分析结果主成分分析结果（表中上半部的系数矩阵是矩阵表中上半部的系数矩阵是矩阵A）C1C2C3x10.58-0.420.70x20.58-0.39-0.71x30.570.820.02Var2.930.070.00%97.542.380.08累积累积%97.5499.9210010/25/202238Dept.ofEpidemio&

Biostat,SPH主成分回归分析结果主成分回归分析结果10/25/202239Dept.ofEpidemio&

Biostat,SPH主成分回归分析结果主成分回归分析结果附：

本例岭回归分析结果附：

本例岭回归分析结果10/25/202240Dept.ofEpidemio&

Biostat,SPH主成分分析应用实例主成分分析应用实例综合指标选取综合指标选取计算主成分的两种方法计算主成分的两种方法如果各变量具有同等尺度如果各变量具有同等尺度对角化相关阵还是协方差阵？

对角化相关阵还是协方差阵？

从协方差阵计算主成分的一个特点：

方差大的变量倾向在第一主成分上占方差大的变量倾向在第一主成分上占有更大的比重（与从相关阵计算比较）。

有更大的比重（与从相关阵计算比较）。

10/25/202241Dept.ofEpidemio&

Biostat,SPH广州市某年空气污染指标的主成分分析结果广州市某年空气污染指标的主成分分析结果从从相关阵计算相关阵计算从从协方差阵计算协方差阵计算C1C2C3C1C2C3iNOx0.63-0.17-0.760.93-0.30-0.21iTSP0.510.820.250.290.95-0.06iSO20.58-0.550.600.210.000.971.880.700.424349891350%62.723.413.977.815.96.310/25/202242Dept.ofEpidemio&

Biostat,SPH广州市某2个月的空气污染指数10/25/202243Dept.ofEpidemio&

Biostat,SPH