如何有效利用主成分分析进行综合评价.docx

1、如何有效利用主成分分析进行综合评价如何有效利用主成分分析进行综合评价摘要：由于主成分分析在多元统计分析中的降维作用，使之在社会、经济、医疗、生化等各领域运用越来越广泛，但由于传统主成分分析方法的局限性导致了一些问题的产生。这些问题吸引了许多领域专家的关注，并具有针对性的提出了一些不同的改进方法。本文介绍了主成分分析的基本和性质，并整理了近年来主成分分析在综合评价应用中遇到的普遍问题并整理验证了认同率较强的一些改进方法，以供大家研究学习。关键词： 主成分分析；综合评价；均值化1引言1.1研究的背景和意义随着生产力的不断进步，生产方式由外延式扩张转化为追求经济效益的内涵式发展，以致在生产过程中必须

2、考虑经济效益的各个方面，如生产力水平、技术进步、资源占用等情况，并需要就综合各方面的因素进行综合评价。评价是根据确定的目的来测定对象系统的属性，并将这种属性变为客观定量的计值或者主观效用行为，整个过程离不开评价者的参与，而综合评价作为评价的一种也需要评价者做出相应反应或指示，而很多综合评价过程易受到评价者的干预，使评价结果产生偏差。主成分分析能将高维空间的问题转化到低维空间去处理【9】，使问题变得比较简单、直观，而且这些较少的综合指标之间互不相关，又能提供原有指标的绝大部分信息。而且，伴随主成分分析的过程，将会自动生成各主成分的权重，这就在很大程度上抵制了在评价过程中人为因素的干扰，因此以主成

3、分为基础的综合评价理论能够较好地保证评价结果的客观性，如实地反映实际问题。主成分综合评价提供了科学而客观的评价方法，完善了综合评价理论体系，为管理和决策提供了客观依据，能在很大程度上减少了上述不良现象的产生。所以在社会经济、管理、自然科学等众多领域的多指标体系中，如节约型社会指标体系、生态环境可持续型指标体系、和谐社会指标体系、投资环境指标体系等，主成分分析法常被应用于综合评价与监控【6】。综上所述，对综合评价指标体系理论进行研究，既有理论上的必要性，更有实践中的迫切性。1.2研究的发展史基于主成分分析的综合评价以主成分分析为理论基础，以综合评价为主线，着眼于作出合理公正的综合评价。以下从综合

4、评价和主成分分析两个方面来讨论主成分综合评价的发展史。1.2.1综合评价的发展史综合评价是伴随着人类文明的产生、发展而产生、发展的。其基本思想是将反映研究对象数量特征的多个指标转化为一个综合指标，并据以对各个具体评价对象进行排序比较，从而做出好坏优劣的评价结论。1888年，艾奇沃斯(Edgeworth)发表了论文考试中的统计学，提出了对考生中的不同部分应如何加权。1913年，斯皮而曼(sPean)发表了和与差的相关性一文，讨论了不同加权的作用。在20世纪30年代，瑟斯通(Thurstone)和利克特(Likert)又对定性记分方法的工作给予了新的推动。20世纪60年代，美国学者查德(LAzad

5、aen)模糊集合理论，为模糊综合评价法奠定了基础。20世纪70一80年代，是现代科学评价蓬勃兴起的年代。在此期间，产生了多种应用广泛的评价方法，诸如ELECTRE法(1971一1977，1983)、多维偏好分析的线性规划法(LINMAP，1973)、层次分析法(AHP，1977)、数据包络分析法(DEA，1978)、逼近于理想解的排序法(TOPSIS，1981)等【7】。1.2.2主成分分析的发展史主成分分析，首先是由英国的皮尔生(Kar卜Pearson)对非随机变量引入的，而后美国的数理统计学家赫特林(Harold.Hotelling)在1933年将此方法推广到随机向量的情形团【8】。主成分

6、分析的降维思想从一开始就很好地为综合评价提供了有力的理论和技术支持。20世纪8090年代，是现代科学评价在我国向纵深发展的年代，人们对包括主成分综合评价在内的评价理论、方法和应用开展了多方面的、卓有成效的研究，主要表现为:常规评价方法在国民经济、生产控制和社会生活中的广泛应用;多种评价方法的组合研究，综合应用及比较;新评价方法的研究和应用;评价方法的深入研究，如:评价属性集的设计、标准化变换、评价模型选择等等。1.3主成分做综合评价的研究现状目前国内外关于综合评价的方法很多，在根据各指标间相关关系或各指标值的变异程度来确定权重系数的方法中，主成分分析法是应用尤为广泛。在使用该方法的早期，大多都

7、是按照传统的主成分分析法做综合评价的步骤来计算综合得分来对样品排序，即利用主成分F1，F2，Fm做线性组合，并以每个主成分Fi的方差贡献率i作为权重系数来构造一个综合评价函数：Y =1F1 +2F2 +m F m然而，随着传统主成分分析方法在综合评价中的进一步应用，人们发现此方法时经不起实践检验的。在实际应用中，经常发现运用此方法所得结果的解释往往与实际情况不符。举了一个简单的例子，假定高考中考试科目有四门：数学(x1)、语文(x2)、外语(x3)和物理(x4)，满分都是相同的150分。考生的四门考试成绩必须综合成一个综合评价函数，一般取为总分。但从统计学的角度来看，可能取为更为合理，这里xi

8、*是xi的标准化数值（x1* 、x2* 、x3* 、x4*有相同的均值和标准差）。如果我们使用传统的主成分分析法，根据上述综合评价函数F的得分来对学生进行排名，那就酿成大错了。就此，一些学者提出了一些改进的方法，其中具有代表性的方法有：Yan(1998)提出，当第一主成分的方差比较大时，即贡献率较大时，用它做综合评价指标。如果觉得用一个主成分解释的方差不够大时，综合反映X1 ，X 2 ，Xp信息的能力不够，而用多个主成分构造综合评价函数又不合适时，可以像因子分析那样对主成分进行旋转。Hou(2006)也提出，当用第一主成分进行综合评价达不到理想结果时，可用分组主成分评价法。即先用因子分析法将p

9、个变量分成k组，然后分别对各组变量进行主成分分析，只取每组的一主成分，求出各组第一主成分的得分Cj(j=1,2,k)以因子旋转后各因子的放差贡献率为权重建立综合评价函数：。最后根据各评价样本综合得分y来对样品进行排序。但其可行性也受到了一些学者的质疑【4】。由此可见，主成分综合评价法是一片有待进一步深耕细作的热土。2关于主成分分析基本知识2.1主成分分析设要进行主成分分析的原指标有p个，记作x 1 ，x2 ，x p 。现有n个样品，相应的观测值为x ik ， i =1,2,n,而k =1,2,，p。作标准化变换后，将Xk变换为Xk*，即，k =1,2,，m.式中，及Sk分别是xk的均值及标准差

10、，x k*的均值为0、标准差为1.主成分分析的原理是：根据各样品原指标的观测值x ik或标准化变换后的观测值x ik*求出系数a ik (k=1,2,p,j=1,2,m，m ( Xk1 ,Xk2 ,，Xkp)时，称第i个样本点优于第k个样本点；当（Xi1，Xi2 ，Xip）( Xk1 ,Xk2 ,，Xkp)时，称第i个样本点不劣于第k个样本点；若（Xi1，Xi2 ，Xip）( Xk1 ,Xk2 ,，Xkp)和( Xk1 ,Xk2 ,，Xkp)（Xi1，Xi2 ，Xip）同时成立，称第i个样本点无异于第k个样本点。定义 若综合评价得分y是有序的，当且仅当yi yk（其中yi是第i个样本点的综合得

11、分 i =1,2,n）时，有（Xi1，Xi2 ，Xip）( Xk1 ,Xk2 ,，Xkp)，否则称y是无序的。将y改写成一般形式如下： 上式中tj可取-1,1或0（0表示不选择第j个主成分），由上式得：综合评价得分y对应于指标Xi的权数为。由于各指标是正向指标，我们可以得到如下定理。定理 综合评价得分y是有序的，当且仅当0，i=1,2,p。由上述推导可知，要想第一主成分能有效用于做综合评价，则按第一主成分做综合评价的得分值y必须是有序的，当且仅当aij0，j=1,2,p。即第一主成分的系数均为正值时，第一主成分做综合评价的取值y才是有序的，此时才可以用第一主成分做综合评价，否则不行。类似地，还

12、可以令ti =1，其它为0的情况，可得到第i主成分有序的充要条件是aij0，j=1,2,p。3.3.2均值法的应用由于传统主成分分析无量纲化，即标准化处理会导致原始信息的丢失，许多学者就此思考了改进方法，并大多注意到了协方差举证能够完整的反映原始数据的信息；协方差矩阵的主对角线上的元素恰好为个指标的方差，而非主对角线上的元素则包含了各指标间的相关系数的信息。所以对数据的均值化处理【1-8】是大家普遍认同的一个对主成分分析较好的改进方法。方法如下：设有n个被评价的对象，及p个指标，原始数据为，各指标的均值为xi 均值化就是用各指标的原始数据除以相应的均值，即,i =1,2,n；j =1,2,p其

13、中，j =1,2,p，得到均值化数据矩阵设Y =（Y1 ，Y 2，Yp）的协方差矩阵为U =(uij )p p,因为Y中每个向量的均值为1，所以有：其中sij为原始数据的协方差，i ,j =1,2,L,p.特别地，即均值化数据的协方差矩阵主对角线元素为各指标见变异系数的平方。设均值化数据各指标的相关系数为，则， 其中为原始指标间的相关系数，由上可以得到：均值化不改变各指标间的相关系数，相关系数矩阵的所有信息都在相应的协方差矩阵中得到了反映。3.3.3 对原始数据的非线性化根据主成分分析中“线性”相关度的缺点，文献【2】【3】提出了非线性主成分分析方法的一种对数中心化，其基本方法是：1、 对原始

14、数据作中心对数化变换：2、计算对数中心化的样本协方差矩阵 3、从S出发求主成分设12 P是S的P个特征根，a1,a2 , ,aP是相应的标准化特征向量，则第i个非线性主成分为从上述分析可知，非线性主成分分析与传统主成分分析相比有两处改进：一是通过对原始数据作对数中心化变换，将主成分表示为原始数据的非线性组合；二是分析的出发点是协方差矩阵，不再是相关系数矩阵。通过这两处的的改进，会明显提高降维效果，用更少的主成分更多的反映原始指标的信息。4 实例分析本文采用SPSS15.0为数据分析工具，以某高校学生在校期间的各科学习成绩为样本，运用改进的合理选取主成分的方法对每位学生的三项指标的原始数据进行分

15、析比较。样本如表1所示：表1学生成绩学生高数成绩外语成绩专业课成绩18011110327678104学生高数成绩外语成绩专业课成绩36214078411012098510211167611584897678910288798110989959910911391091115010011712140125831312378751410497109151059012716741996176586791889809619917710620100102110首先对原始数据进行均值化处理，再用优化指标的协方差矩阵代替相关系数矩阵进行分析，计算结果如表2：表2：数据计算表原始主成分分析均值化主成分分析改进主

16、成分分析特征值方差贡献率累计贡献率特征值方差贡献率累计贡献率特征值方差贡献率累计贡献率11.87720.37540.037540.06550.41140.41140.05580.38780.387821.21030.24210.61750.04440.27890.69030.03660.25430.642130.09860.19730.82480.00680.04271.00000.00790.04290.8534结论： 1、从计算结果可以看出，均值化处理可以使第一主成分包含的信息比传统的方法第一主成分承载的信息高，咳哟个较少的主成分提取更多的原始信息。2、非线性化处理后，计算得出的累计贡献率

17、更有突破，达到了主成分分析简化指标维数的主要目的。5 结语针对主成分分析在综合评价中的广泛应用中遇到的计算结论常与事实有所矛盾的问题，结合现行各类文献资料，整理归纳了主成分分析的传统方法在综合评价中的不足、不合理之处整理出了部分实验结果较好的改进方法，同时得出，在运用主成分分析进行综合评价时，应当根据原始数据情况做出及时合理的调整，采用适当的主成分或改进主成分传统分析中的不足之处，借此时主成分分析在综合评价应用中功能得到更大、更合理的发挥。参考文献：1 白雪梅,赵松山 对主成分分析综合评价方法若干问题的探讨 统计研究1995 第六期 2 高艳,于飞 一种用于综合评价的主成分分析改进方法 西安文

18、理学院学报(自然科学版) 2011年1月第14卷第1期 文章编号:1008 5564(2011)01 0105 043 叶双峰 关于主成分分析做综合评价的改进 数据统计与管理 2001年2期20卷 文章编号:1002-1566(2001)02-0052-044 林海明 对主成分分析法运用中十个问题的解析 理论新探文章编号:1002-6487(2007)08-0016-03.5 张鹏 基于主成分分析的综合评价研究 南京理工大学硕士论文 2004年6月6 庞智强 主成分分析能客观赋权吗？统计新论 总第79期7 余登榜 改进的主成分分析在我国高校数学学科排名中的应用 武汉科技大学 硕士学位论文 2010年12月8 洪素珍 如何有效利用主成分 华中师范大学硕士论文 2008年5 月9 张文霖 主成分分析在SPSS中的操作应用 市场研究 理论与方法2005年12月10 张超 陈秉赓 计量地理学基础 第二版 高等教育出版社1991年