正确发挥同行评价的作用

2020-07-23
23 2020-07

12:51

分享
来源:《行政管理改革》2020年第7期作者:苏金燕

  同行评价是重要的定性评价方法,是有效的科研评价方式,已被广泛应用在项目评审、人才评价、机构评估等学术评价活动中,正确认识同行评价的局限性,科学合理运用好同行评价方法是关键。

  组织实施同行评价需解决的问题

  就学术评价而言,同行评价是重要的形式,但它也有自身的局限性。一是主观性,每个专家的评价结果是十分主观的,它很大程度上受到评价者道德品质、学术水平及研究领域等因素的影响。二是利益相关性,每个专家都是社会人,有时难免受人情关系影响,如果评价者与被评价者存在利益关系,更是可能影响评价结果。三是保守性,同行评价是建立在专家原有知识基础上的,对创新性事物判断难度较大,不同专家的评价结果有时会出现很大差异,形成“非共识”现象。四是复杂性,组织一次同行评价要耗费大量人财物和时间成本。

  组织一次同行评价,应该说需要回答谁来评、怎么评、评得怎么样三个问题。

  一是谁来评?同行评价过程中,评价专家是主体,专家遴选是关键,但目前只有原则性的专家遴选标准和程序,并且没有可快速抽取专家的共享专家库可以使用。有些组织实施评价部门以一己之力很难完成高质量、成规模的专家库建设工作,增加了同行评价活动的组织难度。

  二是怎么评?组织实施部门是第三方,无论是初评还是复审,制定规则、组织评价、保证质量是工作重点。目前,通讯评审、会议评审或两者结合是采用最多的同行评价方式,由于每个被评价对象的评审专家是有限的,如“2+1”或“3+X”模式,就是每个被评价对象请2个或3个专家进行评价,当评价结果差异很大时再请1位或X位专家进行评价,由于评价专家数量少,增加了评价结果的偶然性。这就对评价专家的水平和道德提出了很高要求,评价专家的遴选、激励、约束和监督,是保证同行评议质量的重要环节。如果说通讯评审以“小同行”专家为主的话,在会议评审时经常会存在“大同行”甚至“非同行”的问题,如何正确发挥“大同行”会评专家的作用是需要考虑的问题。如何保护“小学科”甚至是“绝学”的发展是个问题。此外,同行评价过程所花费的时间也是要考虑的问题。

  三是评得怎么样?方法没有好坏,只要达到评价目的就是好方法,但同行评价评出来的效果到底怎么样,如何平衡同行评价与定量评价的关系,这是问题的关键。例如,学术期刊基本都有严格的同行评议程序,但是仍然出现2017年施普林格·自然出版集团《肿瘤生物学》期刊107篇论文的撤稿事件,以及2020年初我国《冰川冻土》的《导师崇高感和师娘优美感的统一》论文事件。即使能避免这些不端行为,同行评价效果也值得关注。就拿期刊评价来说,同行评价和定量引文指标是评价期刊的两种重要方法,那么两种方法的评价效果如何呢?有学者研究后发现这两种方法对期刊进行评价后得出的评价结果存在较大差异。例如,有学者以25种社会工作领域的期刊为样本,采用定性方法(专家问卷)和定量指标(5年影响因子和H5指数)计算,对期刊进行排名后发现两者存在较大差异,专家问卷排名第1的期刊用定量指标排名时仅列25种期刊中的第13位。那到底哪个评出的结果更符合实际呢?但也有学者研究发现,两种评价方法得出的评价结果有较强的正相关关系。其中笔者以人文社会科学33个学科共计1291种期刊为统计样本,采用调查问卷形式由专家对这些期刊进行同行评价,然后对同行评价结果与即年影响因子、影响因子和五年影响因子的相关性做比较分析,研究后发现同行评价和引文指标两种方法对期刊进行评价时,虽然存在一定学科差异,但两者得到的评价结果具有较高的一致性,社会科学领域的一致性高于人文科学领域的一致性。这说明,在分类评价前提下,还要弄清楚什么样的学科更适用什么样的评价方法。

  组织实施同行评价可操作的方法

  一是建立共享专家库机制。水平高、数量足的专家队伍是保障同行评价活动顺利开展的前提条件,建立分类别、分学科、分层级、分地域的共享专家库,可在一定程度上解决同行评价中专家抽取问题。共享的基础是共建,共享专家库的组织可按照一定周期,制定统一专家遴选标准,采用组织推荐、个人推荐、学者自荐及邀请等方式进行专家初步遴选,对选出的专家名单以网络等形式公示公开后确定专家名单,最后是建立信息详实的专家库,以便为各项评价抽取合适的专家。中办、国办2018年7月印发的《关于深化项目评审、人才评价、机构评估改革的意见》中指出要“将学者在期刊的任职,比如期刊的主编、编委、审稿专家等作为重要评价指标”,将学者在评价专家库中任职或者将参与同行评价作为评价指标的话,会在一定程度上提升专家对评价工作的积极性,促进评价质量的提升。

  二是探索开放评价新模式。单盲评审和双盲评审是目前同行评价的主要形式,开放评价是新的趋势。开放评价包括公开身份、公开评价意见、公众参与评价过程、评价对象与评价专家交流等方面。公开身份包括评价专家和评价对象之间身份的单向公开、双向公开及向公众公开;公开评价意见包括署名公开评价意见及匿名公开评价意见;公开时间可选择评价前、评价中或评价后公开。逐步建立开放评价平台,发挥集约优势,避免散兵游勇。目前,开放期刊论文同行评价已经有较为成功的案例,如F1000Resarch、Froniter和Pubpeer等是国外较有代表性的开放同行评议期刊和平台,实现向外界公开评议专家信息、评议意见、建立作者与评议专家交流通道等功能。这种开放评价模式提高了评价透明性,在一定程度也是对评价公正性的倒逼。

  三是完善同行评价报告制度。在现有操作规范和规章制度基础上,应针对学科特点建立参考性评价指标体系,根据评价目的建立评价流程操作指南,建立健全专家回避制度、轮换制度、激励制度和监督制度,完善评价活动后的评价报告制度,增加评价活动的科学性、公正性和可操作性。早在1978年和1981年,针对美国国家科学基金评审中出现的同行评价疑义,美国科学院科学与公共政策委员会就组织专家进行了连续6年的调查,发表了两份关于“美国国家科学基金会的同行评议”调查报告。为更好地发挥同行评价作用,完善的同行评价报告制度势在必行。

责任编辑:张世贵

--------------------------------------------------

[作者简介]苏金燕,中国社会科学评价研究院研究员。