试论现行学术评价体系的不足与根源.docx

1、试论现行学术评价体系的不足与根源试论现行学术评价体系的不足与根源周春雷2012-10-22 11:11:00来源：图书情报知识(武汉)2011年2期【英文标题】On the Drawbacks and Reasons of the Current Academic Evaluation System【作者简介】周春雷，男，1977年生，系统分析师，郑州大学信息管理系讲师，发表论文20余篇（郑州450001）【内容提要】面对国内学术界浮躁现象层出不穷的现实，本文试图从现行学术评价体系入手，总结其不足之处并剖析根源，以期为寻找更合理的学术评价标准、建设中国特色科技评价体系提供有益参考，从而推动我国

2、科技事业健康有序发展。The paper analyzed the drawbacks and the causes of the current academic evaluation system from the view of the whole system to cease the booming misconduct in academic cycle. The paper also tried to help finding reasonable academic evaluation criterion, constructing the Chinese evaluation

3、 system in science and technology and advancing the development of science and technology in China.【关 键 词】学术评价体系/不足/根源Academic evaluation system/Drawbacks/Reasons1 引言众所周知，在大科学时代，科研资助对科研活动具有越来越重要的影响，而学术评价的结果往往会成为科研资助的重要依据。这就使学术评价无论对学者个人还是学术机构、科研管理机构，乃至社会大众和国家均具有重要的意义。虽然学术评价对于正常的科学交流系统具有非常重要的意义，但目前被滥用

4、的量化评价体系却存在很多弊端，干扰了科学交流活动甚至在一定程度上抑制科研创新，妨碍了科研事业的健康发展。这样的评价体系要求评价对象在规定的时间内必须产出一定数量的、能达到某种级别期刊发文标准的文章，否则就不能获得学位、职称甚至工作。“Publish or Perish”这种在世界范围内得到广泛认同的说法正是这种要求的真实写照。作为一个人才大国，如何才能拥有更合理的学术评价体系始终是中国科研管理者甚至国家领导人关心的话题，2008年12月15日，胡锦涛总书记在纪念中国科协成立50周年大会上的讲话中的号召充分体现了学术评价问题对当前中国的重要意义。他明确要求，“要把进行科技评价、举荐创新人才作为科

5、协所属学会的重要职能，积极探索科学合理、具有中国特色的科技评价体系，用对科技工作者科研能力和科研成果的社会承认来引导和激励科技工作者，更加充分地激发广大科技工作者的聪明才智”。本文试图梳理现行学术评价体系的不足并分析其根源，以期为寻找更合理的学术评价标准、建设中国特色科技评价体系提供有益参考，推动我国科技事业健康有序发展。2 现行学术评价体系的不足在知识发展日新月异的信息时代，所有人都面临着信息激增而个体消化、吸收能力有限的尴尬。为了在有限的时间内把握学科最新进展，学者们需要及时关注重要成果，这就需要有一套评价体系帮助评估各种学术成果的相对重要性，以过滤掉虚假的和绝大多数相对不重要的成果，将有

6、限的时间和精力投入到吸收有价值信息的活动中去，以实现特定知识的定向累积，加速知识创新。另一方面，科研资助对于科研活动具有越来越重要的影响，管理部门需要及时了解科研成果的价值和影响力，以找出提高科研系统运作效率的有效办法。此外，作为纳税人的社会大众也有兴趣了解社会资源在科研领域的运用情况。为此，需要对学术成果、学者、学术机构、期刊等科研系统相关要素的学术影响力进行评价。为提高学术评价的科学性，便于管理和操作的量化评价体系在世界范围内颇为流行。但是，现行学术评价体系由于过于重视量化评价，在实践中也产生了很多问题。我国政协科技界曾于2004年5月至2005年3月就当前的科技评价体系进行了深入调查1，

7、结果显示缺乏信誉是科技评价体系中的最大问题，而“重数量轻质量，重形式走过场”、“科技评价结果使用不当，助长急功近利、浮躁浮夸等不良风气”以及评价方法不当等因素，是造成广大科研人员普遍对现行科技评价体系缺乏信任的渊源所在。究其原因，既有学术评价体系的问题，也有行政干预问题和各种学术评价活动失序引起的问题。2.1 现行学术评价体系缺乏合理的评价标准，存在信任危机量化评价指标在个人层面应用有很大风险，不能仅用单一的指标测度即轻率地得出结论，否则容易出现较大的偏差。常用的个人层面的量化指标主要从学术生产力和学术成果影响力两方面对学者的科研绩效进行测度，但学术评价标准一直是人们争论不休的话题，对别人不服

8、气者总可以运用“多变逻辑”来辩解。科学网博主武夷山2的一番话很有代表性，“你若论文多，他说你不讲质量，垃圾论文；你若被引多，他说被引用多不一定就好，其中说不定有好多是负面引用；你h指数高，他说你出道这么多年，h指数就应该高，我若现在是你的年纪，比你还棒呢”。这段话不仅生动地阐释了以量度质的量化评价所面临的尴尬，也彰显出目前在测度成果质量方面尚缺乏有广泛共识的学术评价标准。邱均平、任全娥(2007)3认为，只有在具备学者们有严谨的治学原则和自律习惯以及大量的经过严格的同行评议的期刊等因素的情况下，把成果的发表数量作为评价社会科学成果学术价值的主要指标才显得可信并且有效。笔者认为，这一论断虽是针对

9、社会科学成果评价而言的，但对自然科学成果评价也同样适用，离开学者自律和严肃的同行评议，将发表于任何期刊上的只言片语奉为圭臬都是可笑的。科学网博主武际可4认为，论文篇数与实际科研水平不一定成正比，过分的强调论文和论文附带的功用，会导致学术的异化，导致实质性学术水平的降低甚至消亡。以论文篇数来度量研究水平，说明在评价体系中，真专家被边缘化了。说明科技管理队伍官僚化了，一支庞大的科技管理大军其功能只不过抵得上一台功能很差的只能计数的计算机。他以美国哈佛大学与麻省理工学院从1991年起颁发的“搞笑诺贝尔奖”(the Ig Nobel Prizes)为例进行了详细阐述。该奖的所有获奖研究都真实存在，并且

10、都在有威望的科学及医学杂志上发表过，但不大可能使科学和医学出现巨大的变革或突破，反而有浪费科研资源的嫌疑，所以获得者不但不会因获奖而得到公认，反倒可能因获奖而蒙羞。以1992年文学奖获得者莫斯科有机元素混合物研究院的尤利斯特拉科夫(T. )为例，他在1981年至1990年期间共发表948篇科学研究论文，却对实际的科学进展几乎没有产生任何影响。即便比较发表在好杂志上的文章数量也不能直接与学术研究水平和学术贡献相提并论。科学网博主饶毅5-6认为，“发表好杂志的文章，其实比真正做好的发现要容易。有新鲜东西出来，你马上跟一下也可以把文章发表在好杂志上，但你并非original，意义不大。为了挤到某个好

11、杂志的文章，需要很耐心地去回答审稿者的问题，如果都回答了，最后人家没办法，也会发你那篇文章。”他认为把一些意义不大、研究不严格的文章想方设法发表到好的杂志上并非聪明之举，因为这么做只会浪费聪明人的时间、经费和精力，即使外行以为发表了CNS论文的作者很厉害，但内行发现内容水平不高会怀疑作者的学术水平。他认为中国将逐渐走出“杂志拜物教”时代，建议年轻人不要被这种即将过时的狂热所迷惑和误导，而要尽力做好重要的研究。综合上述学者们的论述我们不难发现，社会上对量化评价体系的批评主要集中在其重数字轻人，重形式而忽视内容，或言重量轻质，缺乏对学术成果内在价值的评判。由于社会上普遍对过于强调量化评价有很多不满

12、，导致现行的学术评价体系存在深刻的信任危机，而危机的根源在于外生的学术评价标准容易被操纵。“冯唐易老，李广难封”这个成语虽有慨叹个人生不逢时的含义，但也告诫我们社会评价标准对人才遴选有着重要影响。如果一个社会在意论文的数量和级别，那么善于写“SCI论文”的自然就是符合各种奖励和资助标准的人才，但不看具体学术成就真能为我们选拔出符合国家和社会需要的人才吗？2010年初，井冈山大学两名教师因在SCI收录的Acta Crystallographica Section E发表虚假数据而被一次撤稿70篇的国际性学术丑闻给我们敲响了警钟！因此，强烈的现实需求召唤着我们去探讨新的学术评价理论和评价指标，以消

13、除学术评价的信任危机并满足我国科技评价实践的要求。2.2 文献检索工具异化为学术评价标准量化评价由于操作简单、使用方便，在学术评价中应用非常普遍。但是，学术评价非常复杂，而且数量在传递质量信息方面存在很多误区，所以经常出现文献计量学指标被误用的情况。最常见的误区就是以对学术成果载体的评价代替对内容价值的研判，即根据学术成果发表载体的等级判断学术成果的价值大小，如期刊是否被SCI、SSCI、El等数据库收录，是否属于核心期刊，影响因子多少等。在这些判断标准中，核心期刊是一个非常重要的参考指标。核心期刊本是文献计量学中用于指导馆藏的概念，能反映出某领域论文在少数期刊上富集的情况，但在现行学术评价体

14、系中，是否进入某个核心期刊列表却俨然成了期刊学术水平高低的最重要标志，在此基础上的期刊分级制则成为现行量化学术评价体系的核心。这种核心期刊评价思路在实践中演变成将某期刊是否被某检索工具收录视为标准，从而使检索工具异化为学术成果评价标准。例如，SCI数据库原本只是一种强大的文献检索工具，它不同于按主题或分类途径检索文献的常规做法，而是设置了独特的引文索引，将一篇文献作为检索词，通过收录其所引用的参考文献和跟踪其发表后被引用的情况来掌握该研究课题的来龙去脉，从而迅速发现与其相关的研究文献。但在现行学术评价体系中，发表于SCI检索刊物上的论文常被视为“高水平论文”，与发表于普通期刊的文献相比，这些“

15、SCI论文”的作者可享受很多来自科研奖励系统的好处，这就逐渐导致“SCI崇拜”，使检索工具异化为学术成果评价标准。学术评价体系在一个国家的科技发展中举足轻重，但我国学术界尚没有建立起自己的完善的评价体系，几乎把高端学术成果的评价话语权全部交给了SCI收录期刊。这样做的弊端显而易见：由国家投资的研究成果拿到国外期刊发表，然后再由国内用户花钱购买回来，既分流了国内期刊的优质稿源，又给国内学者利用国人的最新研究成果制造了语言壁垒，这对一个国家的科技战略显然有不利影响。2009年9月，被誉为“SCI之父”的尤金加菲尔德博士在中国发表演讲7时也含蓄地批评了滥用SCI的做法，强调SCI是一个国际标准数据库

16、，单纯用SCI数据库衡量科研人员并不合适，而以SCI论文数量评价科学水平更不合适。人们必须摈弃急功近利的思想，重视论文质量、被引用情况和多种指标评价。加菲尔德还认为8如果深入挖掘SCI系统的功能可以找到更好的评估方法来纠正现有的谬误。比如将科研人员的研究成果放在他所在的研究领域中进行评估，即先在数据库中寻找其同行群体，然后在此群体中衡量此人的贡献。事实上，按照期刊的学术水平进行精确分级几乎是不可能的。因为期刊级别并不是一成不变的，而是由期刊之间、期刊与作者之间在学术市场上的相互博弈暂时确定的。更主要的是，论文能否在某种级别期刊上发表除了其自身的学术价值外，还存在很多影响因素，包括一些非学术因素

17、。如论文内容是否属于当前的热点话题、写作风格、语种、作者知名度、是否受基金资助、甚至参考文献的档次、类型、新旧程度、施引对象等因素，以及所投期刊的类型、定位和风格因素，审稿制度、审稿人的水平和偏好以及人情稿等因素。因此，高级别刊物所刊发的不都是精品，低级别刊物也不是不会发表高水平论文，将期刊等级与所刊发论文的学术水平等同只是一种非常粗略的估计。如果在这种值得商榷的假设的基础上再进行各种复杂而“精确”的数字推理，必然会放大误差，进而导致结论的科学性大打折扣。2.3 行政对学术研究的过度干预问题学术的健康快速发展离不开社会和政府的大力支持，但过度的行政干预却可能对学术发展造成不利影响。现行的量化评

18、价体系要求评价对象在规定的时间内必须产出达到一定级别期刊发文标准的文章数量，“Publish or Perish”这种在全世界范围内得到广泛认同的说法正是这种要求的真实写照。这种过于刚性的制度与评价对象的切身利益息息相关，给评价对象造成很大的压力和诱惑，它不再鼓励评价对象潜心向学，抱着十年磨一剑的心态追求卓越，而是刺激评价对象多出成果、快出成果，使评价对象普遍产生急功近利心态。它吸引着有理性算计的“经济人”向最低标准看齐，为了数量不惜投机取巧，甚至一稿多投、改造数据，从而导致学术界的浮躁以及学术泡沫化、庸俗化。毋庸讳言，我国的学位和职称评审制度在一些方面存在不合理之处，作为重要的学术评价应用场

19、合，却存在对学术成就之外的标准过于重视的现象。例如，在高校的毕业资格认定和职称晋升标准中通常有论文必须在某级别以上刊物发表的刚性要求，但学术期刊的级别与其刊载的具体文章的学术水平并无必然联系，所以这种认刊不认文的规定为无数学者诟病。在申请资助和高级别职称申请中通常还有主持一定级别项目、得到某一行政级别奖励等要求，虽然获得各种项目和奖励必然是以申请者及团队的前期学术成果为基础，但在复杂的社会环境中，二者的关系往往并不简单，能否申请到项目和获得奖励，与申请者的知名度、学术影响力、社会交往能力和所掌控的资源都有莫大的关系。因此，以这些指标作为评价学术成就大小的标准是否合理是值得商榷的。面对愈演愈烈的

20、学术造假现象，章开沅(2009)9分析其原因在于，“现在的大学越来越像一个行政机关，一个必须服从上级的行政机关。大学每年都要应付各种各样的评比检查，因为有各种各样的评比检查指标体系，这对大学是一个很大的压力。这也是用办工厂的办法办大学的表现。”而“现在的大学教师不再重视教书育人了，心思都放在了科研项目、专著论文上。教师没有办法，不这样做职称就上不去，就不能当教授、当博导。”他认为要减少学术造假现象的发生，必须要改革刚性化的学术评价机制，使教育部门回归大学本位和教育本位。众所周知，主要生产精神产品的学术研究与物质产品生产存在非常大的差异，不是改进“流水线”、增加投入就一定能够提高科研成果的产出速

21、度、质量和级别。学术研究自有其规律，不是急功近利的评估、奖励就能够任意加速的，频繁的、过于苛刻的量化评估对加剧学术浮躁现象有着难以推卸的责任。在“频繁的鉴定、评奖，各种各样的评估与评比，今天你评我，明天我评你”的环境下，“敢直言的专家越来越少，导致虚假的评价结果越来越多”，同时，请“铁哥们”专家进行鉴定等事件也越来越多。中国工程院院士、重庆大学教授黄尚廉委员9在2005年的两会发言中感叹道：“难怪科技界有不少人形容现在的科技成果鉴定会是红包一发，嘴角一擦，一个世界先进水平的成果(或完美的评价结论)就如此诞生了。”更有甚者，近年来有的人成了获奖专业户，每年都有成果鉴定验收，每年都能够获奖。“这些

22、人擅长异容术，只要把原来的成果改改名称，稍加修饰与包装，在五脏六腑上动点小手术或者全然不动，就堂而皇之地请来大名鼎鼎的院士专家，进行鉴定验收”。因此，科研管理部门应遵循学术研究的规律，淡化学术之外的标准，努力减轻过于频繁的评估所带来的压力，以合理的学术评价标准和激励措施推动科研的健康发展。学术界普遍认为，为避免行政权力过度干预学术资源分配，应实行高校行政与学术分离。2010年10月，华中师范大学宣布校领导集体退出学术委员会11，该校认为学术权力与行政权力的适当剥离可保持学术委员会的相对独立性，从制度上保障其发挥鉴定、咨询和评价学术问题等作用。笔者认为，此举为学术界热议的高校“去行政化”开启了一

23、片试验田，有望为解决行政过度干预学术问题提供一些新的思路。2.4 学术评价活动失序问题期刊作为学术成果发表的主要载体在科学交流中起着非常重要的作用，但不同期刊的学术地位并不相同，期刊级别在现行学术评价体系中成了表征学术成果级别的符号，是否发表在“核心期刊”上对学术评价来说差别很大。这使期刊评价成了学术界非常敏感的事情，每一个版本的“核心期刊”的发布都会引起广泛关注，以至于使用哪个引文数据库的数据、采用哪些评价指标、指标权重多少等都会成为学术界争论不休的话题。国内先后有多家机构制作过上榜期刊各异的“核心期刊”，没有人能说清这些“核心期刊”榜到底哪个更“核心”。除这些通行全国的“核心期刊”榜单之外

24、，各高校和科研院所也会有自己的奖励期刊名单。不仅如此，论文被WOS、EI、SCOPUS等国际引文数据库和国内的CSCD、CSSCI等收录也分别对应着不同的级别，被文摘刊物收录情况也会被学术评价机构采信为评价信息，于是就有了论文被新华文摘、人大复印资料等转载则论文对应什么级别等现象。这些从自身看秩序井然的评价活动却使整个社会的学术评价活动在宏观上显得非常混乱和无序。3 现行学术评价体系不足的根源3.1 评价指标悖论当货币政策目标开始风行时，经济学家查尔斯古德哈特(Charles Goodhart)观察到，当总数成为目标时，其重要性会立刻发生变化。任何作为衡量标准的具体指标，相对于整体水平都会得到

25、提高。他的发现被总结为Goodhart定律12：当一种指标成为目标时，它就不再是好的指标(When a measure becomes a target，it ceases to be a good measure)。这就是评价指标悖论，也可以表述为：如果为了特定的目的而施加压力，那么观察到的统计规律就会失效。量化评价指标之所以在学术成就测度中产生了一些恶果，其重要原因就在于评价指标悖论。虽然评价指标本是为改善评价对象的某一行为或表现而设计的，但其导向性常导致评价对象产生博弈行为。一旦评价指标从绩效评估手段异化为评价对象努力追求的目标，其有效性将大打折扣：它在刺激评价对象努力追求指标的同时常导

26、致评价效果与评价目的的背离。例如，发文量和被引次数等直接测度指标的广泛应用就存在因成为被评价者追求的目标而效果打折的风险。在发文量被作为科研生产力评估指标以前，独立作者文章在很多领域占有绝对优势，而且作者产量与人数在统计上具有一定的规律，可以用洛特卡定律来描述。但当多作者文章开始盛行以后，这一定律需要做许多修正才可以勉强用来描述作者产量与人数的平方反比规律，在一些作者人数过百的论文比比皆是的领域，这一定律的适用性更是受到了严重挑战。另一方面，一旦引用次数成为决定卓越与否的手段，参与者就会根据他们对此标准的理解来操纵这个系统，则量度的结果就不那么有效了。即使h指数这样近年来备受赞誉的评价指标也难

27、以避免刻意作弊行为的攻击，笔者曾指出h指数存在“精确注水”13和“合作式注水”14等漏洞。既然论文发表数量和被引次数这些直接评价指标有很多漏洞可钻，那么间接评价指标会不会好些呢？如作者获得国家和社会奖励情况、在学会或刊物任职情况(包括会员、编委、审稿人等)、受学术会议邀请作特邀报告情况等。不可否认，这些间接指标在一定程度上反映出评价对象的学术影响力，具有一定的合理性，但这些指标与学术贡献并无必然联系，某些学术贡献一般的人也可以在这些指标上表现得很好。因此，评价指标具有明显的导向性，每一个评价指标的出现都会引起被评价者对指标的迎合和追逐，这导致所有的单一标准都可能因误用和滥用而失灵。每一种学术标

28、准总是能找到很多作伪的办法，量化评价指标和“同行评议”都不能例外，h指数也一样。因此，我们要充分认识到评价指标悖论的严重性，只有设计作弊成本高但又便于操作的指标，才能便于指标的推广并从根本上解决作弊问题。笔者认为，公开、透明、互相评价的学术评价思路值得尝试。3.2 现行学术评价体系缺乏必要的监督机制现行学术评价体系存在种种不足的根源除了评价指标悖论外，还在于缺乏必要的监督机制，这可能难以避免科学蒙难悲剧。所谓科学蒙难，是指在科学发展的进程中由于种种因素某些科学成果的发现或公认在时间上被延迟，在传播空间上受限制，甚至发现者本人也遭遇不幸等现象。新的科学发现和理论常常是原有理论所无法解释的，是与传

29、统观念相冲突的，因此，受传统观念的束缚，固执于旧理论，必然造成科学成果在发现和公认时间上的延迟和传播空间上的限制。科学史上许多小人物被压制的事例表明，科学蒙难的部分原因来自学术权威的压制。当赫尔姆霍兹还是年轻的生理学家时，他关于能量守恒原理的第一篇论文被老资格的主编波根道夫以缺乏实验依据为由退稿了。由于有了这段经历，他曾对年轻科学家法拉第的类似遭遇表示过同情。但是，当普朗克1878年提交博士论文时，里面提到一些有关热力学第二定律的新思想，遭到一些学者的压制和嘲笑，其中就有赫尔姆霍兹。对于这段痛苦经历，普朗克发表了一段著名的感慨：一个新的科学真理不能通过说服她的反对者并使其理解来获得胜利，她最后

30、的获胜主要是由于其反对者终于死去而赞同她的年青一代终于成长起来。学术权威对科学发展具有重要的作用，他们可以带领和指导广大研究者继续向这一领域的深度和广度进行探索。某一学科领域形成了权威，是这门学科走向成熟的重要标志之一。但是，如果权威把自己绝对化，看不见或看不起别人的成果或贡献，甚至采取学阀的作风，那么，他就不仅不可能起到学术带头人的作用，而且还会压制新的科学发现，阻碍科学新生力量的成长，从而导致科学蒙难悲剧。科学界不仅担负着探索自然奥秘的任务，也担负着发现从事这种探索的人才的任务。学术权威可能是科学发现方面踌躇满志的权威，却不一定是评价、发现、培养科学人才的权威，尤其当新的科学分支不断涌现，

31、所要评价的对象是连权威都陌生的新领域的工作时，情况更是如此。普朗克的话虽然尖刻，但资深科学家因年高而变得对新成果嗅觉迟钝却是一个比较普遍的科学社会学问题，这种情况一旦同“马太效应”结合起来，就形成了科学发展中的一个障碍15。反思众多科学蒙难案例，我们不难发现缺乏监督和约束的专家意见可能导致严重后果，因此建立一个客观公正的科学评价体系显得非常重要。如果有一种反应灵敏的专家遴选机制，能够及时地根据学术共同体的意见调整专家库成员，则这种公开、公平的方式完全可能改变学术评价中被少数学术权威把持的话语权，减少科学悲剧的发生。3.3 科学交流模式在发生变化笔者认为，在现行学术评价体系中，学术期刊事实上承担

32、着为学术成果定级的任务，如果它不能及时履行为学术成果背书的义务，帮助有创新性的学术成果尽快进入学术交流系统流通，那么它在学术交流系统中的地位就难以避免边缘化的命运，即使用学术之外的手段强化其地位，也只能起一时之效。从科学交流角度看，传统的期刊模式存在一些先天的不足：首先，期刊模式人为控制了科学知识发表速度。一般来说，期刊需要定期、定量地出版学术成果，但学术成果的产生则是不可预期的，从时间上看，不可能有稳定的产出速度。如果为了满足期刊模式，人为控制学术成果的发表速度，则漫长的审查和发表时滞将在很大程度上影响学术成果的扩散并阻碍知识创新。这种服务模式如果发展到阻碍学术生产力发展的地步，将注定被淘汰。其次，期刊模式的版面费有很大压缩空间。对于期刊模式来说，版面费维持了现有科研交流系统的正常运行。其实从信息传播角度看，