如何评估基础研究绩效.docx

如何评估基础研究绩效.docx

《如何评估基础研究绩效.docx》由会员分享，可在线阅读，更多相关《如何评估基础研究绩效.docx（14页珍藏版）》请在冰豆网上搜索。

如何评估基础研究绩效

如何评估基础研究绩效

    科学研究向来是有目标的。

从学术方面而言，目标在于发明发现，创造知识，认识世界；从经济方面而言，目标在于解放和发展生产力，使投入资金获得最大效益。

考察目标是否实现有赖于对研究过程和结果进行全面而准确的评估，即所谓绩效评估。

随着科学技术对人类社会的影响日渐深刻和广泛，科学研究日益被置于政府的指导和支持下以实现国家目标、增强国家实力、保障国家利益，绩效评估是政府管理和利用科学研究的重要手段。

    自20世纪70年代末我国重新确立科学技术在国民经济和社会生活中的重要地位以来，绩效评估即被逐步应用于引导、扶持和管理科学研究。

在基础科学领域，绩效评估问题正受到日益广泛的关注，有关这方面的理论和实践探索也在逐渐深入。

    一、对基础研究绩效评估的基本认识

    基础研究是旨在“获得关于现象和可观察的事实的基本原理的新知识，不以任何专门或特定的应用或使用为目的而进行的实验性理论性研究工作”，可以从研究对象、研究主体、研究目的、成果形式以及研究资金来源等方面与极具商业目标的技术研究和产品开发相区分，但基础研究、应用研究和开发研究之间并不是简单的线性关系，而是相互渗透、相互影响的。

目前一般将基础研究区分为纯基础研究和应用基础研究，本文所指的基础研究并不特指前者或后者，但强调基础研究与特定应用目标之间存在距离，在进行有关绩效评估时对此必须有充分的认识。

    基础研究对于增强国家的知识创造、吸收、利用等　能力至关重要，但研究的不确定性远较应用开发研究为大，加上成果一般缺乏即期商业利用价值，因而很难得到企业界的充分资助，一般由各国政府设立专门的科学基金或机构拨款予以扶持。

    1.基础研究及其成果的特点

    从绩效评估的角度看，基础研究具有以下特点：

基础研究具备新颖性，理应与国际科学发展接轨，不存在“填补国内空白”或“国内领先”说法——成果应在世界范围比较；基础研究具有较强的探索性和不确定性——可能不出成果或出现不曾意料的成果；基础研究能对技术进步施加潜在的推动，甚至引发技术革命——成果应推动可以预料的技术进步；基础研究一般不直接创造经济效益，但可能通过推动技术进步间接地、隐蔽地创造经济效益——基础研究成果的经济价值不能被直观地考察到；基础研究的成果不仅仅包括创造知识，还包括人才的培养，研究机构能力的提高，研究对文化的贡献等等；由于知识背景和观察角度的差异，对基础研究成果的认识会“仁者见仁，智者见智”——基础研究成果的价值体现有一个“滞后期”，且完全可能引起争议。

    2.基础研究绩效评估的难点

    基础研究的上述特点给绩效评估工作带来比较大的困难。

这些困难主要有：

对基础研究成果的评价主要是社会评价而非经济评价，经济评价已有成熟的指标体系和评价方法，而社会评价尚无；基础性研究课题的目标相对模糊，具有弹性，难以精确衡量；评价不能完全摆脱占主流地位的思维观念、伦理准则、文化传统以及政府政策的影响；基础研究的长期性及其影响的间接性；社会科学发展水平的制约；评价结果受评价人员、评价方法、评价程序的影响较大。

    3.基础研究绩效评估的主、客体

    所谓基础研究绩效评估的主、客体指的是由谁来评估和评估谁的问题。

谁来评估包括三个方面的内容：

其一是由什么人来评估。

目前国内外普遍贯彻专家评估的原则，这里所说的专家包括学科专家和管理专家；其二是由什么机构进行评估。

有必要通过权威的中介机构对接受并经营成果的机构例如杂志社、出版社、基金会等　进行资信评级，诸如国际四大检索刊物就是此类机构；其三是在专家意见分歧情况下如何得出结论。

    我们认为，评估人员和评估机构处于一种开放的、竞争的制度环境中对于保证评估质量具有重要意义。

    可以作为评估对象的有研究项目、研究人员、研究机构、科研计划、资助方案、科技政策等等。

我国学者研究较多的主要是前三者、尤其是研究项目的绩效评估问题，对其它评估对象的研究相对薄弱。

研究项目的评估是其它评估的基础，本文也主要是就基础研究项目的评估而言。

    4.基础研究绩效评估的意义和原则

    绩效评估是对评估对象运作过程和结果的评价，属于典型的事后评估，评估的意义表现在：

有助于掌握资助对象的运作情况，检验资助效果；有助于了解学科项目领域的发展动态；有助于增强科研人员的责任感，提高科研绩效；有助于更好地认识、了解评估对象，提高连续资助的准确性。

    绩效评估应该遵循的原则是：

基础研究成果应该由科学共同体自由地、公开地、跨越相当长时间尺度、在世界范围内评判，避免不必要的行政干预；应该尽量选择公认度高的指标，用计量的方法，并充分考虑学科间的差异；评价不应该给科学家增加太多负担；绩效评估应该寻求效益和成本的平衡；绩效评估应该完整地覆盖评估对象的必要方面。

    二、基础研究绩效评估方法

    同行评议法和文献计量法是我国基础研究绩效评估实际工作中广泛应用的两种方法，也是目前理论界研究的热点。

    1.同行评议

    尽管存在各种各样的批评意见，同行评议仍然是基础研究绩效评估中最常见也是最重要的方法，美国科学院科学与公共政策委员会持续六年1975～1981　的调查也证实了这一点，目前同行评议正在广泛应用于科学研究领域。

    1　同行评议的概念

    国内学者对同行评议的定义有：

同行评议是“由该领域的科学家或邻近领域的科学家以提问的方式评价本领域研究工作的科学价值的代名词，进行同行评议的前提是在科学工作的某一方面体现专家决策的能力，而参与决策的专家必须对该领域的发展状况、研究活动程序及研究人员有足够的了解。

”“同行评议指的是，某一或若干领域的专家采用一种评价标准，共同对涉及上述领域的一项事物进行评价的活动。

”几乎所有定义都十分强调专家在同行评议中的关键性作用。

    同行评议的优势是，专家代替了科学外行拥有了对学术问题的决策权。

同行评议是科学研究管理中一项非常重要的制度安排，操作得当的同行评议能够对科学研究发挥巨大的激励和支持作用。

同行评议应该贯彻的原则是：

公开性、公正性、可靠性、效用性和经济性。

    2　专家学术水平评估

    我国学者普遍对同行评议中的专家选择及其真正发挥的作用问题十分关注，选择合适的同行专家被认为“至关重要”。

在同行评议的实践中，各部门、各单位都十分重视所涉及学科、专业领域里同行评议专家库的建设和更新。

有学者研究了专家库建设中专家学术水平的量化评估问题：

专家的学术水平由三个一级指标综合判断：

科学产出、学术地位、对专家的反评估；每个一级指标下又分若干个二级指标，按照一定的标准评分给分或扣分　，最后形成对专家学术水平的定量评价。

其中，反评估的构想对遴选专家具有较强的制约作用，该指标考察每个专家评议结果和所有专家综合评议结果之间的相符程度。

    3　同行评议存在的问题和改进

    尽管同行评议在科学界发挥着巨大的作用，但存在的问题也比较明显，这些问题大致可分为两个方面：

    其一，同行评价的公正性和准确性严重受制于专家的学识和品质。

同行评议的前提是：

参与评议的专家在待评项目所涉及学科领域确有较深造诣、并且能公正、清楚地作出自己的判断，而这一点恰好很难控制和达成共识。

    其二，同行评议存在一些内生的、自发的不良倾向，这类倾向靠严格挑选专家甚至都很难控制：

共识决策和有限经费助长保守的思考和选择；过高的业绩权重和知名度影响不利于年轻科学家脱颖而出；学科分类管理促成了学科壁垒，不利于学科交叉；可能导致难以防止的侵权行为；评审成本较高。

    针对同行评议存在的种种问题和国内的实际情况，我国学术界提出了不少改进建议，旨在完善对同行评议的有效规约机制，概括起来包括：

严格选择专家，要求专家就对项目的了解程度作自我评价，保证评价人在项目涉及学科领域确有造诣，尊重项目研究者有提名他她　认为合适的专家以及他她　认为不适宜参与评价的专家名单的权利；跟踪评审专家的评审质量，将那些评审结果“奇异”而又不能给出有说服力的解释的专家淘汰出专家库；谨慎对待专家的评价结果，成果或其中某个指标　如果被个别专家评价过高或过低都应该引起重视，并要求专家作出说明；建立“申请思路专利”档案，保护申请人的知识产权不受侵犯；采用多级同行评议，一个项目的评审，需要经过同行专家通讯评议、学科综合意见、学科评审组会审三个环节，由同行专家、评审会专家和学科管理人员三者形成相互依赖、相互制约的决策群体；对于学科交叉、全新研究领域以及争议较大的研究项目，在可能的情况下可以采用“面对面”公开答辩的方式听取意见，确保创新项目得到公正准确的认识和评价；建立健全回避、受理申诉、仲裁和违纪处理的机制；同行评议不应泛化，在某些情况和某些领域不宜使用同行评议，而应采用其它方法或与其它方法配合使用；控制同行评议的成本，包括适当放宽对准确率的要求，完善预评估形式审查　环节，加强对评估活动的科学管理等。

    2.文献计量法

    1　文献计量法的介绍

    文献计量法通过对作为研究成果载体的各种文献及文献间关系的“计量”来考察研究绩效，文献计量法应用于绩效评估有四个主要环节：

选择计量指标；采集数据；建构计量模型；解决计量结果。

    可以用来计量的对象一般包括：

完成的论文、专著、专利的数目，发表、申请或受理情况；文献被检索系统收录情况；文献被引用情况；一些衍生指标，例如获奖情况等。

    由于用客观数据部分取代了主观判断，利用文献计量方法在很大程度上提高了评价的质量，但也有很多学者指出，由于存在一些原因，文献计量法的作用不应该被过高估计。

因此，文献计量学方法应该谨慎地使用，一种可采用的限制手段是要求项目研究者仅仅提供他她　认为“最成功”的若干篇例如5篇　文献，从而集中精力对这些“核心成果”进行“计量”。

    2　计量对象的选择标准和来源

    研究发现，根据自报指标指由各级管理部门设立的指标，统计数据来源于自主申报　与源生指标指国内外权威检索系统所涵盖的科技指标，以及各职能部门直接统计公布的科技指标　分别作出的判断存在较大差异。

因此，明确计量对象选择的标准和来源十分必要。

    文献计量指标的选择应该遵循科学性、适用性和可操作性的标准。

目前国内用于绩效评估的文献计量指标大致从文献的内容特征如主题词、分类类目等　、外形特征作者、产地、载体类型等　及引文关系入手，比较认同的计量对象选取来源有：

国外的《科学引文索引》SCk　、《工程索引》EI　、《科学文摘》SA　、《生物文摘》BA　、《化学文摘》CA　等；国内的核心期刊及《中国科学引文数据库》CSCD　、《中国科技论文与引文数据库》CSIPC　等。

    SCI目前收录3000种期刊，每年摘录的文献有60万篇，是世界上广泛采用的科学评价工具，相当多的评价工作，如对著名科学家的列表，也证明了其在科学评价中的有效性。

但是我国学者一般认为，SCI存在期刊收录不完整、学科不平衡、地区、语言偏好和引文机制模糊等问题。

    目前，国内开发的《中国科学引文库》CSCD　、《中国科技论文与引文数据库》CSTPC　等用于文献计量和科研评价的数据库，极大地推动了我国的科研评估工作，但是这些工具尚存在着收录范围小、指标设置不完整等问题，有待进一步完善。

    文献计量的理论和实践研究还在逐步深入，可以选择的文献计量指标和文献计量工具也在不断发展改进，必将进一步增进评估结果的科学性、公正性和客观性。

目前在实际评估工作中，广泛采用类似文献计量指标的其它一些计量指标，或者对这些指标进行数学处理，可以认为是文献计量方法的一种扩展，事实证明对评估起到了很好的作用。

    基础研究绩效评估的实质是对基础研究所发现的新知识的评价，因此绩效评估最重要的目的是要对基础研究的实际科学价值和成果的知识含量做出评价。

就同行评议而言，我们认为应该进行必要的制度设计，以具体的激励和惩罚措施，实现专家与专家、评估机构与评估机构之间的竞争和制衡，这对于确保专家质量和以负责的态度参与评议是非常重要的。

就文献计量而言，诸如文献数量、引文情况这类指标与知识之间的关系往往是复杂非线性的，以前者代替后者进行评价，其局限性是不言而喻的。

因此，文献计量方法在基础研究绩效评价中基本上只能作为辅助手段，但其量化、建模的思想非常值得借鉴。

    三、基础研究绩效评估指标体系

    在大多数情况下，绩效评估不仅仅是评价成果的学术价值，研究本身对科学的促进、项目成果与项目初衷的一致性分析、研究过程中的关键性问题回溯等都可能成为绩效评估的重要内容。

但是针对一个具体项目的评价没有必要覆盖到所有这些内容，而应该围绕评估目标和评估对象的特点有所侧重，这些侧重主要反映在评价指标的选择和设计上。

    1.评估指标的设计要求

    评估指标是根据评估目标所选定的评估对象的一组属性。

评估指标确定后，对评估对象的绩效评估就转化为对这些可以直观、具体衡量的属性的考察。

基础研究绩效评估指标的选择和设计应该满足以下要求：

评价指标应该体现评估目标；评估指标应该有权重差别；评估指标应该公正对待所有待评项目；评估指标应该具有权威性和客观性；评估指标应该方便做出判断和获得答案；评估指标应该具有延续性。

    2.基础研究项目的评估指标框架

    基础研究项目的评估问题是目前的研究重点，也是对诸如研究人员、研究机构等评估对象进行评估的基础和前提。

    以具有代表性的国家自然科学基金面上项目自由探索型　和国家战略基础研究项目目标指向型　的评估为例，分别有学者研究描述了这两类项目的评估指标框架：

    1　面上项目绩效评估指标框架

    学术评估部分：

研究目标与学术指标的实现程度；项目的科学发现与成果的创新程度；项目研究结果的产出及扩散情况；项目的人才培养情况。

    管理评价部分：

项目计划进度的实现情况项目经费支出的合理程度；基金项目管理条例执行情况；项目的人力投入情况项目资料的文档化情况。

    该指标框架没有给出具体的指标，但指出了一个可供参考的指导意见。

    2　战略基础研究评估指标框架

    战略基础研究的评估重点在于对研究成果的科学和社会经济价值作出判断，有学者指出其指标框架如下：

    价值评价：

创造性价值，成果直接创造的价值，包括学术价值、无形资产价值、成果直接应用生产的价值等；替代价值，获取替代成果的代价和对相似研究的替代性；潜在价值，成果进一步开发后的价值或未知的应用将带来的效益。

    目标关联评价：

成果的内容是否体现了立项目标﹖如何体现﹖成果的内容与主要立项目标关联的紧密程度如何﹖如何体现﹖成果的价值体现与立项目标关联的紧密程度如何﹖成果的价值体现与主要立项目标关联的紧密程度如何﹖如果成果内容或价值与立项目标有差异，是否是根本性的差异﹖产生差异的原因是什么﹖差异是否合理﹖

    效果与影响评价：

系统创新效应，系统创新效应是体现战略基础研究项目实施效果和成果价值的最重要的方面，评价的基本思路是，确定有可能带来的系统创新效应的各种表现，以及与系统创新效应相关的各项指标；能力效应，能力效应指在形成项目成果的过程中带来的能力增长；假设负面效应，在成果的效果难以确定的情况下，可以假定如果没有该成果，将会带来的负面效应，以此作为评价成果的一个角度。

    3.评估结果的量化

    对评估结果进行量化处理，“既可以克服由于自然语言本身所具有的某种模糊性，导致人们理解上的一些不可避免的偏差，又可对评议后的项目进行比较，能大致按照优劣排序”。

调研发现，绩效评估实践中比较广泛地采用了对具体的评估指标划分等级层次或量化处理的做法。

例如，把“研究内容的科学价值或应用前景”指标的评价结果区分为A往下可再细分为A+、A、A-，以下类推　、B、C、D四个等级。

标准分别是：

A，处于科学前沿，有重大科学意义或有重大的应用前景；B，有较大的科学意义或有较大的应用前景；C，有一定的科学意义或应用前景一般；D，科学意义不大或应用前景较小。

    也有学者对按等差级数划分等级层次的做法提出异议，认为“这在成果之间只存在量别性差异的情况下还是比较科学的；但若存在质别性差异，就不尽科学”。

我们以为，要区分开存在质别性差异的研究成果，例如一般性进展、有重大突破、开创新的研究领域和创立新学科之间的学术水平差距，分值的划分不能太机械，同时可以建立个案处理机制，对特殊情况作特殊处理。

另外，在量化评估结果时，还要注意指标间量化程度的差异，避免事实上修改了指标权重。

    4.指标和专家权重的确定

    不同指标具有不同的重要性，因此有必要对指标赋以权重，在实践中一般使用“元老法”，即请有较深造诣的专家对各项指标的重要程度做出判断，综合专家意见确定指标权重。

    通过权重不仅可以表征指标间的相对重要性，还可以有效“抹平”一些似乎不可比对象间的差异。

    不同专家的评价也具有不同的重要性，可以用专家权重做出区分，专家权重一般取决于他她　在某一学科领域中权威性的相对高低。

有学者提出专家的权威性可通过下列指标确定：

资历；科研成就；对学科的熟悉程度；公正性。

各个指标的重要程度又由不同权重予以区分。

    四、国内基础研究绩效评估案例

    我们这里介绍国内基础研究绩效评估的两个案例，它们可以提供一个或几个侧面的参考，并不能完整地描述基础研究绩效评估的方方面面。

各学科领域、不同评估机构需从自己所处的具体情况出发，设计相关的基础研究绩效评估体系。

    1.国家自然科学基金委信息科学部绩效评估实践

    评估方法：

学科评审组专家和管理人员共同评议，以专家意见为主。

    评价原则：

定性评价为主并辅以一定的定量要求。

    评价重点：

突出的成果或较差的成果。

    评价内容与指标：

    1　发表论著。

即发表的论文、著作的数量和质量。

    Ⅰ.在国际上有重要影响的权威刊物如SCIENCE、NATURE　上发表论文或在本学科领域有重要影响的国际会议上作学术性大会特殊报告；Ⅱ.在本学科领域国际刊物和有影响的国内核心刊物以及有影响的国际会议发表论文至少5篇，并且上述论文被四大检索系统即SCI、EI、ISTP、ISR　收录；Ⅲ.有一定数量的论著，但论文发表的刊物、学术会议级别一般，影响不大。

    2　课题完成情况及创新。

考察课题是否按预定计划完成了任务，创新层次衡量的主要标准是发表论文被引用情况。

    Ⅰ.在本学科领域有重要创新，在国内外有较大反响，论著多次被他人引用；Ⅱ.课题研究按计划较好完成了任务；Ⅲ.未完成任务或成果内容与课题要求不符。

    3　成果获奖或取得发明专利。

    Ⅰ.获国家或省部级一等奖以上以基金课题所取得成果为主　或有影响的国际奖；Ⅱ.省部级二等奖或一般的国际奖或获发明专利；Ⅲ.无奖项。

    4　成果推广及效益。

    Ⅰ.课题成果已产生重大的经济效益或社会效益；或课题研究转为其它国家重大项目；Ⅱ.课题成果取得一定的经济效益或课题发展成为其它科技计划的项目；Ⅲ.课题成果无经济效益且课题没有发展成为其它科技计划的项目。

    5　人才培养。

    Ⅰ.培养了博士生或硕士生或促进了专业人才队伍的形成；Ⅱ.未培养博士生或硕士生。

    评价标准：

    特优：

对“优”档中少量一般为5%左右　特别优秀的，可以评为“特优”，要求必须有一项以上达到五项指标中I的条件。

被评为“特优”的项目，对完成者当年或以后的申请实行挂钩倾斜政策；

    优：

有三项以上含三项　达到五项指标中Ⅱ的条件；

    良：

有两项达到五项指标中Ⅱ的条件和指标1　中Ⅲ的条件；

    中：

有两项达到五项指标中Ⅱ的条件；

    差：

研究项目中有弄虚作假行为或全部未达到上述五项指标中Ⅱ的条件。

    评估结果的认定：

一个项目完成好坏的评价，不要求其在各指标中占全，而是要求在其中某一重要指标中有突出表现，有的指标间是“或”的关系。

    2.国家自然科学基金委无机非金属材料学科绩效管理的具体实践

    国家自然科学基金委工程与材料科学部无机非金属学科鉴于目前基础研究评价指标体系不确定及对基础研究认识上存在急功近利的趋向，认为基础研究绩效评估的必要性应该表现在：

有利于学科的调整优化，提高对优先领域的判断能力；作为连续资助的判据，提高科学基金的使用效率，合理配置经费资源；展示基金成果，促进项目成果的有效运用。

在这种认识基础上，他们设计了一个国家自然科学基金项目绩效调查表，该表的统计指标有：

    完成论著及人才培养情况，具体包括学术会议交流篇数国际国内大会特邀报告、国际国内分组报告　、在国内外期刊上发表论文篇数、出版专著中、英文　册数、人才培养博士后、博士、硕士　人数；

    研究成果：

包括评议鉴定、发明专利、推广项目等的数量；

    学术奖励：

包括国家级奖自然科学奖、科技进步奖、发明奖　、省部级奖自然科学奖、科技进步奖　及国际学术奖和其它奖的数量；

    以国家自然科学基金项目为前期工作基础申请并获得其它国家级项目包括“863”高技术、国家攻关及其他项目　的情况。

    对上述的各个评价指标，又分为四个时期进行统计；项目在研期间；项目结题日至结题后3年期间；项目结题后3年至5年期间；项目结题5年以后。

调查统计结果表明：

基金项目的成果是以获得其它项目的支持为体现真正起到了基础的作用；基金项目的成果大多在项目在研和结题后三年内体现，以结题后三年内为多除转入其它项目外　，5年后的作用渐弱。

学术奖励以结题后三年内为多，会议论文以在研期间为多，各评价指标有所不同。

    五、加强我国基础研究绩效评估

    理论研究和实际工作的建议

    1.国内基础研究绩效评估取得的主要成果

    总的来说，我国基础研究绩效评估工作在过去几十年里取得了很大成绩，这些成绩大致可以概括为以下几方面：

    1　基础研究绩效评估的重要性在科学界和政府部门达成了广泛共识；

    2　绩效评估对基础研究起到了良好的导向作用；

    3　基本形成了专家决策的机制；

    4　定量评估方法得到重视和推广应用；

    5　在评估方法、评估指标等方面逐步做到与国际通用做法接轨；

    6　从事绩效评估的各部门、单位日益重视设计和实施符合自己特点的绩效评估体系；

    7　初步形成了一支从事绩效评估理论研究和实际工作的人才队伍和一批研究成果。

    我们以为应该在发扬这些成绩的基础上，进一步从理论和实践两方面加强我国基础研究绩效评估工作。

    2.进一步加强基础研究绩效评估理论研究

    基础研究绩效评估的理论研究对于加深对基础研究及其绩效评估规律的认识，更好地指导基础研究绩效评估、促进基础研究的发展意义重大，我们以为可以重点从三个方面加强理论研究：

    1　进一步拓宽研究领域和实现成果整合。

从我们调研的情况看，目前理论界的研究主要集中在对基础研究绩效评估的基本认识、评估方法、评估指标体系这三个领域，研究