国自然函评专家现状:小同行占2/3,45岁以上专家比重上升!
摘自中国科学基金,国家自然科学基金项目函评专家指派现状及其分析江虎军等
一、基金项目同行专家指派现状分析
对2014—2021年期间参与基金项目函评的同行专家对所评项目研究内容熟悉程度、专家评议项目数分布、评议专家年龄分布以及评审专家的评审项目数等情况进行统计分析,旨在通过分析这些指标在2014—2021年的变化来了解科学基金项目的同行评议质量,进而探索提高基金项目同行评议质量的可能措施。
1.函评专家为所评议项目小同行情况
选择小同行专家评审基金项目的目的就在于确保同行评审意见的专业性和权威性,以利于项目管理者开展科学的遴选。项目管理者在短时间内为大量基金项目遴选同行专家,因受到项目管理者的专业知识、对同行专家熟知程度、专家库质量、指派专家过程中各种政策要求、遴选专家的标准等多因素影响,难以保证所指派的函评专家均为所评议项目的小同行专家。
我们对2014—2021年期间参与函评国家自然科学基金面上项目、青年科学基金项目和地区科学基金项目三类项目的专家是否是所评议项目的小同行进行统计分析。
通过统计函评专家对所评项目的熟悉程度指标发现(图1),约63%~66%的专家自认为熟悉所评议的项目研究内容,即属于所评项目的小同行专家,约34%~37%的专家自认为部分熟悉或不熟悉所评议的项目研究内容,这表明参与面上项目、青年科学基金项目和地区科学基金项目三类项目函评的专家中,超过1/3的函评专家不是所评项目的小同行专家,随着年份递增非小同行占比呈整体下降趋势,但这种下降幅度很小,不同年份之间没有显著差异。在2014—2018年间,甚至有4%~5%的函评专家明确表示不熟悉所评议项目研究内容。
2.函评专家评审项目数分布情况
给函评专家指派过多的基金项目且要求在规定的时间内完成函评,往往会因为专家的评审负荷过重而影响同行评议的质量。对2014—2021年期间每位函评专家参与评审所有基金项目数量进行统计分析,发现函评专家之间评审项目的数量存在不均衡现象(图2)。
评审项目数在5份及以下的专家百分率虽呈现下降趋势,但依然高达9%以上;评审项目数在6~10份之间的专家占比也呈现下降趋势,从2014年的26.6%下降为2021年的9.7%;评审项目数在11~15份之间的专家占比,虽有起伏但仍维持在45%以上,是评审专家占比最多的一部分;评审项目数在16~20份之间的专家占比呈现快速增加趋势,2020、2021年分别达到53%和28%,这或许与自然科学基金委将评审专家评审面上类项目数上限由原来的15项调整为20项有关;评审项目数在21~30份之间的专家占比呈稳步增加趋势,2021年已增加到6%以上,评审项目数在31份以上的专家占比大致维持在1%~2%之间,其中评审项目数在50项以上的占比约在0.5%左右。上述情况说明,有相当一部分专家因评审项目数在5项之内,评审任务偏轻,同时又有相当一部分专家的评审项目数在20项以上,导致评审任务偏重。
3.函评专家的年龄分布
对2014—2021年期间参与面上项目、青年科学基金项目和地区科学基金项目三类项目函评的专家年龄分布进行统计分析(图3),发现35岁及以下专家占比较低,大致在0.25%~2.44%之间;36—45岁专家占比从2014年的30.22%下降至2020年的20.21%,2021年又回升至26.8%;46~55岁专家占比为所有年龄段中最高,但呈现下降趋势,从2014年的50.89%下降至2021年的39.06%;56~65岁专家占比则呈现上升趋势,从2014年的15.56%上升至2021年的31.61%,而且66岁以上专家的占比也呈现上升趋势,2021年已达到1.52%。总体上,45岁以下专家占比在显著下降,45岁以上专家占比在显著上升。
二、函评专家合理的评审负荷调研
对每位函评专家所能评审面上项目数量进行问卷调研(表2),若评审时间为1个月,76.5%的专家认为评审项目数应在20项之内,24.5%专家认为可在20项以上,每位专家评审项目的平均值为17项。同时对评审专家评审一份面上项目所需要的时间进行问卷调研(表3),9.3%的专家认为在1小时以内,40%的专家认为在1~2小时之间,24.3%的专家认为在2~3小时之间,26.4%的专家认为在3小时以上,完成1份面上项目评审的平均时间约为2小时。在一个月内若评审20份面上项目,每位函评专家需要约34小时,这对于利用工作之余来评审基金项目的专家来说依然是一项繁重的任务。上面图2中数据显示,2020、2021年被指派的项目数在15项以上的函评专家占总数的百分比分别为60%和35.21%,指派20项以上的函评专家百分率约为6%。与2014—2019年比较,相对应的数据发生了较大的变化,这主要是由于自然科学基金委对单个函评专家所能评审项目数量由原先的15项调整为20项。但是,从调研数据看,函评专家评审的负荷正变得越来越重。
三、讨论与建议
国家自然科学基金项目的同行评议质量面临挑战,特别是基金项目数量的持续大幅增加以及基金项目管理者的不足双重加剧了这种挑战。我们对2014至2021的八年间全委的指派专家数据进行统计分析发现,被指派的1/3以上的评审专家不是所评议项目的小同行,1/3以上的评审专家的评审任务偏重,大于45岁的评审专家的占比在显著上升。
虽然上述八年间全委的指派专家数据显示,被指派的1/3以上的评审专家不是所评议项目的小同行,且在不同年份之间的差别并不显著,大致维持在34%~37%之间。导致这种现象的原因必然与专家指派中三个因素,即参与指派的人、专家库及遴选专家的方式有关。由于轮岗、流动项目主任更替等因素带来参与指派的人的变化,却没有给小同行占比带来原本以为的较大的影响,或许指派人的作用在完成大量项目的同行专家指派过程中对小同行占比影响不大,因此,这暗示专家库和遴选专家的方式可能是造成上述现象的主要原因。2013年我们探索智能指派函评专家,发现非小同行占比由传统方式的41%下降为32%,说明遴选专家的方式的确发挥了重要作用。自然科学基金委自2014年在项目评审系统中,增加智能推送函评专家供项目管理者选择功能,此后对遴选专家方式几乎没有改进,而且在专家库维护与更新方面虽每年都呼吁予以重视,但由于限于多种条件而导致实际上重视程度仍有待提高,这说明专家库及遴选专家的方式对专家指派后的小同行占比具有较大的影响。
因此,加强专家库的维护与更新以及改进遴选专家的方式,应是解决上述问题的两个重要切入点。一方面在保证指派专家的科学性的同时要提高指派专家的效率;另一方面在保证指派专家有较高学术水平外,还要充分利用专家库资源,合理分配评审任务。因此,高效率指派专家手段的发展和高质量专家库的建设与维护是进一步降低指派专家非小同行占比的有效手段。
1.加强专家库的更新与维护
略
2.改进遴选函评专家的方式
略
3.减轻函评专家的评审负荷
评审负荷过重无法保证评议人有足够的时间阅读申请书并给出科学而具体的评审意见,这已成为影响同行评议质量的一个重要方面。导致函评专家的评审负荷过重的原因如下:一是由于项目管理者熟悉的专家有限,愿意使用熟悉的专家,二是手工遴选函评专家方式无法实施精准回避,更不能做到科学遴选专家和均衡分配评审任务。如何科学、合理地利用专家库中已有的专家资源,特别是那些具有较高学术水平的专家,实现精准回避,需要发展新的遴选函评专家手段,才能真正达到充分、科学利用专家资源目的。通过减少评审专家的评审任务将有助于提高同行评议质量,甚至可以避免同行评议中的代评现象。
国家自然科学基金项目的同行评议制度已在我国实施整整40年,树立了自然科学基金公正、合理的声誉,赢得了申请者信赖,但评议制度中存在的问题仍然突出。如何维护甚至进一步提高基金项目评审的公正性、科学性和权威性,除改进上述问题外,有必要对科学基金制度进行完善。设置独立于科学部的同行评议中心既可使同行评议走向专业化从而提高同行评议质量,又可实现同行评议制度中的权力约束而有助于提高科学基金项目的公正性,随着自然科学基金委受理的项目数量的不断增加,采用这种制度的必要性正变得越来越明显。
本文来源:中国科学基金,仅用于学术分享,转载请注明出处。若有侵权,请联系删除!