聚类主成分分析.docx

1、聚类主成分分析主成分-聚类分析法在管道风险评价中的应用摘要：管道在运行过程中面临着多种风险，对管道所面临的风险进行一定的统计分析可以更精确地分析得出不同风险段的不同风险因子对评价结果的影响程度。本文按照管段实际情况选择有差异的10个风险指标X1（埋深），X2（壁厚），X3（人口密度），X4（公众态度），X5（上方活动），X6（阴保电流），X7（土壤腐蚀），X8（杂散电流），X9（敷设方式），X10（土体类型）建立风险评价流程，通过标准化，主成分分析和聚类分析，降低了管道风险指标间的相关性和赋权主观性，提取了管道风险指标的3个主成分因子，然后结合指标间的相关性，最终得出了管段的风险分类和排序。这

2、可以提高提高管道风险评价体系的可靠性和实用性，具有实际的意义。关键词：油气管道、风险评价、主成分分析、聚类分析1 问题背景管道风险评价作为管道风险管理的基础，其目的是通过计算某段或整条管道系统的风险值对各个管段或整条管道进行风险排序，以识别高风险部位，确定那些最大可能导致管道事故和有利于事故预防的至关重要的因素，确定管段的优先次序，为维护活动经济性的决策提供依据，最终使管道的运行管理更加科学化。主成分分析法从数据的内部结构出发，通过数学变化产生综合评价指标涉及的赋权，减弱了多指标综合评价体系中的主观性影响。聚类分析是依据数据相似度，将大量数据点的集合分成若干类，使得每个类中的数据间最大程度地相

3、似，而不同类中的数据最大程度地不同。采用主成分-聚类分析法开展管道风险评价，在消除管道风险评价指标信息重叠和主观性的同时，实现依据风险指标对管道管段的排序、归类，为管道风险管理，维抢修物资、人员的配置提供科学依据。2 方法模型2.1 主成分分析主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为

4、新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，第P个主成分。Fp = a1i*ZX1 + a2i*ZX2 + + api*ZXp，其中a1i, a2i, ,api(i=1,m)为X的协方差阵的特

5、征值所对应的特征向量，ZX1, ZX2, , ZXp是原始变量经过标准化处理的值，因为在实际应用中，往往存在指标的量纲不同，所以在计算之前须先消除量纲的影响，而将原始数据标准化，本文所采用的数据就存在量纲影响注：本文指的数据标准化是指Z标准化。A=(aij)pm =(a1,a2,am,)，Rai=iai，R为相关系数矩阵，i、ai是相应的特征值和单位特征向量,12 p0。主要步骤1.指标数据标准化（SAS软件自动执行）；2. 指标之间的相关性判定；3. 确定主成分个数n；4. 主成分Fi表达式；5. 主成分Fi命名；2.2 聚类分析聚类分析的目标就是在相似的基础上收集数据来分类。聚类分析发展至

6、今，有许多种不同的聚类方法，其中应用得最多、最成熟的方法为系统聚类法和K - means 聚类法。在此采用系统聚类法，其基本思想为：首先将一定量的指标和变量各自视作一类，然后根据指标间的亲疏程度，合并相关性较高的类，之后考虑合并后的类与其他类之间的亲疏程度，再进行合并，以使得类别内数据的差异尽可能小，类别间数据的差异尽可能大。3 实际应用本文选取某输气管道部分管段进行风险评价研究，管道直径 660 mm，最小壁厚7.1mm，最大操作压力为6.3MPa，全线长200km，埋深大部分超过1.5m，管道沿线有第三方工程施工，操作人员均经过培训。根据综合评价方法模型，按照图1流程开展评价工作。采用基于

7、肯特评分法对风险因素X1（埋深），X2（壁厚），X3（人口密度），X4（公众态度），X5（上方活动），X6（阴保电流），X7（土壤腐蚀），X8（杂散电流），X9（敷设方式），X10（土体类型）进行评分（表1）。表1 管道风险因子量化评分结果3.1评价指标标准化为避免因各指标量纲的不同而缺乏可比性，首先按照下述公式对原始评价数据标准化（表2），标记为x1，x2， ，x10。表2 管道风险因子量化评分标准化数据3.2主成分提取与计算从标准化后变量的相关系数矩阵（表3）可以看出，壁厚与公众态度、土体类型，上方活动与公众态度、敷设方式、土体类型等指标之间的相关系数绝对值较大，说明变量之间具有较强的相关

8、性，适合主成分分析。表3 相关系数矩阵特征根可以被视为表示主成分影响力大小的指标，如果特征值小于1，说明该主成分的解释力度还不如直接引入一个原变量的平均解释力度大，因此主成分个数的提取原则之一为主成分对应的特征值大于1。根据表4列出的公共因子的特征根和累计方差贡献率，前3个主成分特征根均大于1，并且方差累计贡献率为72.1038182（70），包含了原始指标大部分的信息量，将其作为反映原始指标的信息量可以认为是有效的，故提取风险因子个数为3，即原来的10个油气管道风险评价指标可以综合成3个公共因子。表4 特征根和方差贡献率3.3主成分表达式的计算表5 各因素主成分特征向量表6 第一主成分、第二

9、主成分、第三主成分特征向量表6为提取的3个主成分在原指标上的特征向量。主成分特征向量表示主成分和相应的原先变量的相关关系，由表6中可知，壁厚、公众态度、上方活动、土体类型在第一主成分上有较高比重，说明第一主成分基本反映了这些指标的信息；阴保电流和土壤腐蚀在第二主成分上有较高比重，说明第二主成分基本上反映了两个指标的信息；埋深在第三个主成分上有较高比重，说明第三主成分反映了该类指标的基本信息。将得到的特征向量与标准化后的数据相乘，得出主成分表达式：F1=0.255407*x1+0.418994*x2-0.289083*x3+0.438373*x4-0.395960*x5+0.151172*x6+

10、0.049177*x7+0.241727*x8-0.286954*x9-0.400801*x10F2=0.146191*x1+0.187481*x2-0.430505*x3+0.106445*x4+0.280178*x5-0.487507*x6+0.453504*x7-0.279997*x8+0.364077*x9-0.118473*x10F3=0.642729*x1+0.005015*x2+0.197820*x3+0.067108*x4+0.103812*x5-0.362715*x6-0.541355*x7+0.226085*x8+0.238092*x9+0.005639*x103.4风险管

11、段得分及排名表8反映了18个管段基于不同风险因素的排名。管段的排名越靠前，说明该管段受该类风险的影响越大。综合F=0.4349*F1+0.1774*F2+0.1088*F3表7初始数据及第一、二、三主成分表8 18个管段不同风险因素排名3.5聚类分析通过系统聚类法分析得到了各管段的聚类树状图（下图2）清晰反映了各管段之间的风险因素的相似性。图中第15-18管段聚为一类，通过分析原始指标（表1可知，4个管段的10个评价指标中大部分指标完全一致，其余指标稍微有差异。图2 可变类平均距离聚类树状图参考文献1帅健.输油管道的风险评价J.油气储运.2009.2 戴联双，张俊义等.管道风险评价方法与应用J

12、.油气储运，2010.3油气管道风险因素的权重赋值方法研究J.天然气工业,2007.4 高惠璇 实用统计方法与SAS系统M 北京大学出版社 20025吴翊 应用数理统计M 国防科大出版 19956姜扬. 聚类和主成分回归在经济指标数据中的应用研究D.吉林大学，2010.附件 SAS 程序data fengxian; input number x1-x10 ; cards;1 1.5 7.1 280.0 424.0 4.0 430.0 90.0 112.0 459.0 453.02 1.5 7.1 280.0 424.0 4.0 431.0 92.0 112.0 459.0 453.03 1.5

13、 8.7 280.0 424.0 4.0 431.0 92.0 112.0 459.0 453.04 1.5 8.7 280.0 424.0 4.0 431.0 92.0 112.0 459.0 448.05 1.5 8.7 280.0 424.0 4.0 431.0 90.0 112.0 455.0 453.06 2.0 10.3 279.0 425.0 2.0 431.0 90.0 110.0 458.0 449.07 2.0 10.3 277.0 425.0 2.0 431.0 92.0 112.0 458.0 449.08 0.8 10.3 277.0 425.0 2.0 431.0

14、92.0 112.0 454.0 448.09 2.0 10.3 277.0 425.0 2.0 431.0 92.0 112.0 454.0 448.010 2.0 10.3 277.0 425.0 2.0 431.0 92.0 112.0 458.0 448.011 2.0 10.3 277.0 425.0 2.0 431.0 92.0 377.0 456.0 448.012 2.0 10.3 279.0 425.0 2.0 431.0 92.0 377.0 454.0 449.013 2.0 10.3 279.0 425.0 2.0 431.0 90.0 377.0 456.0 446.

15、014 2.0 10.3 279.0 425.0 2.0 431.0 90.0 112.0 454.0 449.015 2.0 10.3 279.0 425.0 4.0 431.0 92.0 112.0 458.0 449.016 2.0 10.3 279.0 425.0 4.0 430.0 92.0 112.0 458.0 449.017 2.0 10.3 274.0 425.0 4.0 430.0 92.0 112.0 458.0 449.018 1.6 10.3 279.0 424.0 4.0 430.0 92.0 112.0 458.0 449.0;proc print data= f

16、engxian;run;options ps=40 ls=100;proc standard data= fengxian out= fengxian1 mean=0 std=1;var x1-x10 ;run;proc print;run;proc princomp data= fengxian out=score n=3;Var x1-x10 ;Run;Proc print data=score;Run;Proc princomp data= fengxian out=result1 prefix=F;Var X1-X10;run;Data 1fengxian;Set fengxian1;

17、F1=0.255407*x1+0.418994*x2-0.289083*x3+0.438373*x4-0.395960*x5+0.151172*x6+0.049177*x7+0.241727*x8-0.286954*x9-0.400801*x10;F2=0.146191*x1+0.187481*x2-0.430505*x3+0.106445*x4+0.280178*x5-0.487507*x6+0.453504*x7-0.279997*x8+0.364077*x9-0.118473*x10;F3=0.642729*x1+0.005015*x2+0.197820*x3+0.067108*x4+0

18、.103812*x5-0.362715*x6-0.541355*x7+0.226085*x8+0.238092*x9+0.005639*x10;Run;Proc print data=1fengxian;Var x F1 F2 F3;Run;Proc plot data =score;Plot prin2*prin1=*$管段;Run;proc princomp data= fengxian1 prefix=z out=out fengxian ;var x1-x10;run;proc cluster data=fengxian method =fle std pseudo cccouttree=fengxian2;var x1-x10;id number;proc tree data=fengxian2 horizontal graphics ;title 使用可变类平均法的谱系聚类图;run;quit;