基于随机森林赋权和改进ELECTREⅢ方法的科技奖励评价研究.docx

1、基于随机森林赋权和改进ELECTRE方法的科技奖励评价研究基于随机森林赋权和改进ELECTRE方法的科技奖励评价研究 摘要：针对科技奖励评价中各指标权重的不确定性问题，提出随机森林赋权法，利用可靠性分析计算专家评分数据的泛化误差，根据最小错误率得到各评价项目的各评价指标权重，减少主观赋权的影响；引入一致可信度、非一致可信度和净可信度信息，提出改进的ELECTRE方法，将某一评价项目优于其他评价项目的程度具体量化，解决专家评分数据为次序变量的问题.实证表明：随机森林赋权法和改进后的ELECTRE方法相结合，既提高了权重估计的精确度和可信度，又解决了难以给定门槛值和不能完全排序的问题，使评价结果更

2、加科学、客观、合理. 关键词：可靠性分析；随机森林赋权；改进的ELECTRE；科技奖励评价 中图分类号：G311 文献标识码：A 科技奖励是科技创新的重要推动力.迄今为止，大量学者就科技奖励评价技术进行研究，提出了许多有效的评价方法，然而大多数方法受主观影响大，评价结果不够科学合理.为此，进一步创新科技奖励评价方法具有十分重要的理论意义和现实意义. 自20世纪80年代中期以来，中国的科技奖励评价方法得到不断的发展和完善，许多专家学者做了大量研究.王瑛、田煜明1等引入改进的未知测度模型计算指标权重，并利用综合得分公式进行综合评价，有效地解决了评审过程中出现的信息失真问题.金聪、彭嘉雄2等运用模糊

3、神经网络的方法构建了科技奖励的智能评审模型，既考虑了专家建议，又有效地减少了由专家决策所带来的主观人为因素的影响.王瑛、曹玮3等人引入“邻差矩阵”，并结合CRITIC法和因子分析方法，建立了考虑专家信度的立体式科技成果综合评价模型.张立军 4-5等分别就科技奖励指标权重和专家权重问题进行了研究，提出了减少人为操纵因素影响的权重确定方法.王瑛6等采用改进的CRITIC法提高样本数据的代表性，并利用逆向云模型降低了专家评分的主观因素影响. 科技奖励评价是一个多项目、多专家、多指标的多属性群决策问题.目前科技奖励评价指标权重多以主观赋权法为主，受专家主观因素影响较大；且专家评分数据通常为次序变量，使

4、得被评项目难以得到客观的评价结果.本文根据科技奖励评价的特点引入随机森林赋权法，对评价指标进行客观赋权；并提出改进的ELECTRE方法，处理次序变量的排序问题，使评价结果更加客观、科学. 1模型的基本原理 1.1随机森林赋权法的基本原理 随机森林赋权法（RF）7是一种由多个分类树组成分类器的方法，主要采用Bagging算法，从原始的N个样本中有放回随机抽取约1/3的数据组成一个新的训练集，剩余的数据成为袋外数据（outofbag，简称OOB数据），这部分数据主要用于OOB估计计算泛化误差和各输入特征向量的权重. 利用RF的Bagging算法中OOB数据进行特征向量的权重估计，即随机改变OOB数

5、据中某个特征向量X的值（称之为特征向量X的噪声干扰），得到一个OOB数据的准确率；然后将原始OOB数据的准确率与加入噪声之后的OOB数据的准确率相减，得到的结果作为特征向量X在该组分类树上的重要性度量值.照此方法计算出所有分类树中特征向量X的重要性度量值，然后取平均数并归一化，即得到该特征向量X的权重. 假设一个由一系列树h1（X）， h2（X）， ， hk（X）和两个随机向量X（输入向量）、Y（输出向量）组成的随机森林.I=（h（X）=Y）表示对特征向量X正确分类的Y的得票数，特征向量的权重估计步骤如下. 步骤1 特征向量权重估计的可靠性分析. 1）随机森林分类树收敛性估计： 定义mg（X，

6、Y）为样本点（x， y）的边缘函数. mg（X，Y）=avkI（hk（X）=Y）- max jY avkI（hk（X）=j）. （1） 式中：Y表示正确的分类向量；I（?）表示指示器函数；avk（）表示对函数值取平均值.该边缘函数表示的是对于向量X正确分类的Y的平均票数超过其他同类型票数的程度.因此，边缘函数越大，正确分类的置信度就越高，算法中分类器的效果越出色. 2）特征向量权重估计的错误率： 设PE*为随机森林算法中分类器的泛化误差，它反映的是分类器的分类效果.则 PE=PX，Y（mg（X，Y）0）. （2） 其用来衡量OOB权重估计的错误率.对于随机森林模型hk（X）=h（X，），若森林

7、中树的数目足够多，上式会满足大数定律： lim k SymboleB PE=PX，Y（P（h（X，k）=Y）- maxjYP（h（X，）=j）c（aj，ak）的属性的集合. 1.2.4排序 令=max aj，akAS（aj，ak），设定一个门槛值； 只确定S（aj，ak）-时的级别高于关系，此时：Q（aj）=流出aj的有向弧数量总和-流入aj的有向弧数量总和. 根据Q（aj）的大小比较方案优劣，进而进行各个方案的排序.通过以上方法进行排序，需要人工确定 值，且只能针对S（aj，ak）-的部分方案进行排序. 针对上述1.2.4的排序过程中存在难以给定门槛值、计算难度大和不能完全排序等局限性进行改

8、进，引入一致可信度+，非一致可信度-和净可信度9，将方案优于其他方案的程度具体量化，简化了计算，提高了可信度，实现了完全排序.改进的内容如下. 1.2.5定义一致可信度 定义4一致可信度+（aj）是指方案aj优于其他所有方案的可靠程度. +（aj）=akKs（aj，ak），ajK. （9） 1.2.6定义非一致可信度 定义5非一致可信度-（aj）是指方案aj劣于其他所有方案的可靠程度. -（aj）=akKs（ak，aj），ajK.（10） 1.2.7定义净可信度 定义6净可信度（aj）是指方案aj优于其他方案的程度，是一致可信度与非一致可信度的差值. （aj）=+（aj）+-（aj），ajK.

9、 （11） 1.2.8实现完全排序 按照方案的净可信度（aj）大小，对所有的备选方案进行排序. 2实证分析 本文选用国家科学技术进步奖（技术开发项目）评选中25位专家对24项科技成果的评分数据（资料来源于科技部国家科技奖励办公室，原始数据略），采用Matlab2012a软件编程10，实证分析步骤如下. 步骤1确定评价项目集K. 根据被评对象为24个项目，定义评价项目集，K=kj，j=1，2，m=k1，k2，k24. 步骤2确定评价指标集C. 现有的国家技术进步奖中技术开发项目的评价指标体系主要由“技术创新程度”“技术经济指标的先进程度”“技术创新对提高市场竞争能力的作用”“已获经济效益”“推动

10、科技进步的作用”5个定量指标构成.其中，技术创新程度是指项目的技术自主创新和解决关键难题的程度；技术经济指标的先进程度是指总体技术水平、经济、环境等指标与同类技术水平相比的优劣程度；技术创新对提高市场竞争能力的作用是指市场的需求度和国际市场的竞争优势程度；已获经济效益是指使用该技术而产生的直接或间接的经济效益程度；推动科技进步的作用是指是否实现技术水平提高的幅度，对行业科技进步的促进作用.该指标体系以国家科技奖励条例精神、奖励要求和目的为依据，符合社会学、统计学等关于指标体系构建的理论和我国的法律法规要求，满足科学性、客观性、可测性、相关性、系统性、简捷性等原则，是一套较为公正、合理的评价指标

11、体系11.因此，本文在进行实证分析时，仍采用科技部国家科学技术工作奖励办公室现行的评价指标体系. 根据该评价指标体系，定义评价指标集C=c1，c2，c3，c4，c5=技术创新程度，技术经济指标的先进程度，技术创新对提高市场竞争能力的作用，已获经济效益，推动科技进步的作用. 步骤3确定各评价指标权重集W. 运用随机森林算法测定科技奖励评价中评价指标的权重时，将24个项目作为24棵树，25位专家的评分作为25个独立同分布的随机向量K，5个评价指标作为特征向量X，分别记为h1（x1，k）， h2（x2，k）， ，h24（x24，k）（其中k=1，2， ， 25）.通过bagging算法，用OOB数据

12、对5个评价指标的重要性进行估计，得到权重. 以科技奖励中的技术开发项目为例，将24个项目的所有评价指标数据分别输入随机森林算法程序中，得到各评价项目的各项指标权重和OOB错误率，根据最小错误率得到各评价项目的各项指标权重，归一化后的加权平均数作为每个指标的权重.计算结果见表1. 由表1可得，W=w1，w2，w3，w4，w5= 0.17，0.22，0.25，0.15，0.21. 步骤4确定各专家对各项目的各指标评分的平均结果集G. 根据技术开发项目原始数据和项目特点，评价指标值gi（aj），ajK为专家对各个项目及指标打分的平均值12，其结果见表2. 3结论 1）针对科技奖励评价中各指标权重的不

13、确定性，提出随机森林赋权法，利用可靠性分析，计算专家评分数据的泛化误差，根据最小错误率得到各评价项目的各评价指标的重要性度量值，经归一化处理后得到各评价项目的各评价指标的权重，提高赋权结果的精确度和可靠性，减少人为给定指标权重的主观影响，使赋权方法更加客观. 2）针对专家评分数据为次序变量的模糊性问题，引入一致可信度、非一致可信度、净可信度信息，提出改进的ELECTRE方法，将某一评价项目优于其他评价项目的程度具体量化，有效解决了难以给定门槛值和不能完全排序的问题，使评价方法更加科学. 3）随机森林赋权法和改进后的ELECTRE方法相结合对科技奖励进行综合评价，得出各参评项目的评价结果并排序，

14、实现了次序变量与定量数据之间的转换，评价结果更科学、客观、合理，为多属性群决策综合评价提供了有效参考. 参考文献 1王瑛， 田煜明. 基于未确知测度评分模型的科技奖励评价研究 J. 科技管理研究， 2009（9）：106-110. WANG Ying， TIAN Yuming.Based on the unascertained measurement grading model of science and technology reward evaluation researchJ.Science and Technology Management Research， 2009（9） ：1

15、06-110.（In Chinese） 2金聪， 彭嘉雄. 科技奖励的智能评审模型 J. 软科学， 2002， 16（5）： 6-9. JIN Cong， PENG Jiaxiong. An intelligent evaluation model for the science and technology reward J.Soft Science，2002，16（5）：6-9.（In Chinese） 3王瑛， 曹玮，罗珍. 考虑专家信度的科技成果立体式综合评价模型J. 软科学，2008， 22（6）：6-10. WANG Ying， CAO Wei， LUO Zhen. The thr

16、eedimensional comprehensive evaluation model in science and technological achievements considered the expert reliabilityJ. Soft Science， 2008，22（6）：6-10.（In Chinese） 4张立军， 邹琦. 基于路径系数权重的科技成果奖励评价模型 J. 科技管理研究， 2008（5）：102-103. ZHANG Lijun， ZOU Qi. The rewards of scientific and technological achievement

17、s evaluation model based on the path coefficient of weightJ. Science and Technology Management Research， 2008（5）： 102-103.（In Chinese） 5张立军， 杨娟. 考虑专家权重的科技成果模糊综合评价J. 科技与经济，2011（24）：1-5. ZHANG Lijun， YANG Juan. The fuzzy comprehensive evaluation of science and technological achievements with considere

18、d expert weightJ.Science & Technology and Economy， 2011（24）：1-5.（In Chinese） 6王瑛，蒋晓东，张璐. 基于改进的CRITIC法和云模型的科技奖励评价研究 J. 湖南大学学报：自然科学版，2014，41（4）：118-124. WANG Ying， JIANG Xiaodong， ZHANG Lu. Research on the evaluation of science and technological awards based on improved CRITIC method and cloud modelJ.

19、 Journal of Hunan University： Natural Sciences， 2014，41（4）：118-124.（In Chinese） 7BREIMAN L. Random forestsJ. Machine Leaning， 2001，45（1）： 5-32. 8岳超源. 决策理论与方法 M. 科学出版社，2003：226-228. YUE Chaoyuan. Decision theory and methodM. Beijing： Science Press， 2003：226-228.（In Chinese） 9王建军， 杨德礼.ELECTRE 的一种排序新方法

20、 J. 系统工程， 2005，23（12）：95-98. WANG Jianjun，YANG Deli. A new ranking method for ELECTRE J. System Engineering， 2005，23（12）：95-98.（In Chinese） 10王小川， 史峰. MATLAB神经网络43个案例分析 M. 北京：北京航空航天大学出版社， 2013：256-264. WANG Xiaochuan， SHI Feng. MATLAB neural network 43 case analysisM. Beijing： Beihang University Pre

21、ss， 2013： 256-264. （In Chinese） 11郝国杰. 科技成果奖励评价指标体系及方法研究D.长沙：湖南大学，2009：11-19. HAO Guojie. Science and technological achievements reward evaluation index system and methodD. Changsha： Hunan University， 2009：11-19.（In Chinese） 12张立军， 林鹏. 基于序关系法的科技成果评价模型及应用 J. 软科学，2012，26（2）：10-12. ZHANG Lijun， LIN Pen

22、g. The evaluation model and application of scientific and technological achievements based on ordering relationJ. Soft Science， 2012，26（2）：10-12.（In Chinese） 13龚俊华. 集成的ELECTRE方法研究 D. 成都：四川大学， 2006： 23-24. GONG Junhua. Research of integrative ELECTRE methodD. Chengdu： Sichuan University，2006：23-24.（In Chinese）