管理科学部RCC评审机制试点效果分析 | 中国科学基金2022年第1期

《中国科学基金》2021年第36卷第1期封面

专题：RCC评审机制改革试点总结与思考

管理科学部RCC评审机制试点效果分析

吴 刚  霍 红  任之光  陈中飞  刘作仪^* 

国家自然科学基金委员会 管理科学部，北京

刘作仪  研究员，国家自然科学基金委员会管理科学部副主任。

吴 刚  研究员，国家自然科学基金委员会管理科学部三处处长，早期在中国科学院从事能源环境复杂系统研究。

摘  要

自2020年以来，管理科学部通过前期调研、方案制定、组织实施、全过程管理等工作，逐步将“负责任、讲信誉、计贡献（Responsibility, Credibility, Contribution, RCC）”评审机制改革覆盖所有的资助项目类型。2021年管理科学部约76%的申请项目参与RCC试点，并在各学科开展了不同层面的评审机制改革探索。增强了项目主任在RCC中的作用，设计了项目主任对评审人和评审意见质量评估环节。在会评环节向专家进一步调研RCC工作效果和改进措施。科学基金评审全过程管理的数据分析结果表明，RCC改革使得通讯评审专家更加专注于评审工作，大幅提升了通讯评审时效性。申请人和项目主任反馈信息显示，RCC改革对通讯评审质量有一定程度上的提升，评议意见撰写更认真。最后提出了RCC改革需要进一步解决的问题和建议。

关键词：同行评议；RCC；科学基金；深化改革

同行评议是科学基金遴选优秀项目的根本机制，而评审专家科学公正履职是确保资源有效配置的关键因素。为了激发起评审专家的遴选出创新项目的责任意识，落实好新时期科学基金资助导向改革举措，国家自然科学基金委员会 (以下简称“自然科学基金委”) 自2020年起开始针对同行评议机制开展改革探索，推行“负责任、讲信誉、计贡献（Responsibility, Credibility, Contribution, RCC）”评审机制试点工作。

按照科学基金深化改革任务的总体部署，管理科学部在前期调研和顶层设计基础之上，在2020年度启动了RCC评审机制改革试点，选择工商管理学科的青年科学基金项目作为改革试点对象。2021年，管理科学部在前期试点经验总结的基础上，进一步扩大RCC评审机制改革试点范围（详见表1），约76%的申请项目参与RCC试点，并在各学科开展了不同层面的评审机制改革探索，取得了明显的试点效果。

1    管理科学部RCC评审机制试点思路

管理科学部在分管委领导的直接领导下，将构建良好的学术生态体系作为RCC评审机制改革的着力点，采取前期调研、方案制定、组织实施、全过程管理四个步骤，有序推进RCC评审机制改革试点工作，取得了一定的实效。

1.1    RCC改革试点前期宣传与调研

为了做好RCC评审机制改革，2020年10—12月间，管理科学部一处调研了20余家依托单位管理科学相关学院，宣传科学基金改革思想、学部政策与学科发展规划，并开展座谈、发放调查问卷。共上千人参加宣传与座谈，回收了400份调查问卷。在调研宣传中向学者们解释RCC的意义和重要性，针对RCC试点工作收集了两方面的数据：

（1） 申请人认为评审意见的帮助程度。这项工作共收集到257个数据，结果如图1所示。评审意见帮助价值的中位值为80分，平均分为77.1分。这项数据可视为RCC试点前的基础数据，从一定程度上反映了申请人对评审意见质量的评价，可用于未来的RCC效果分析。

图1    管理科学部申请人对近3年（2018—2020年）评议意见的帮助价值打分情况

（2） RCC改革试点前期调研情况和学者的建议。学者们普遍认为现有评审机制非常公平、合理，而且对未来的RCC评审机制充满期待。部分专家提出了一些问题，比较有代表性的包括：反馈意见没有提供各评议人打出的分数以及是否上会等信息；应反馈这些信息，帮助申请者提高自我学术等级的判断能力；会评制度不透明，有小圈子现象；有些评审意见过于宽泛，不具体；在新兴领域，同行评议人的学术水平和学术视野滞后于项目申请者等。这些意见和建议为后续工作方案的制定提供了重要参照。

1.2    改革方案设计

2020年工商管理学科处率先试点RCC改革，将RCC评审机制改革有机嵌入项目评审全过程之中。在项目评审启动之前，在学部内部落实双责任人核实机制、保密承诺机制、信息采集机制，制定《管理科学部RCC改革试点工作方案》，明确试点选取范围、信息采集方案，并对学部工作人员开展RCC试点工作的宣传和培训，使学部全体工作人员明确RCC评审机制的细则。落实RCC评审机制改革组织实施过程中的人员分工和工作任务，并对改革效果的分析总结工作进行前置部署（如图2所示）。

图2    管理科学部RCC试点工作方案

1.3    组织实施与全过程管理

管理科学部按照RCC试点改革要求，分步骤有逻辑地推动RCC试点改革方案和改革措施落地。

（1） 制作专门函件通知评审专家

管理科学部起草了《关于“负责任、讲信誉、计贡献”评审机制试点工作的说明》，详细介绍RCC政策要点和实施细则，并在《国家自然科学基金委员会管理科学部关于同行评议的要求与说明》和《国家自然科学基金项目通讯评审函》中强调了评审质量要求。通讯评审开始时，将上述函件作为通知邮件的附件发给评审专家，提醒通讯评审专家注意评审事项，也是对通讯评审专家的一种培训途径。

（2） 实时跟踪通讯评审进度

项目主任实时登陆ISIS系统跟踪评审进度，每日汇总评审专家登录系统和下载申请书等信息，形成进度简报并报送学科处长。通讯评审邀请发出一周后，通过电话和邮件等方式，“点对点”提醒尚未登录系统的专家。评审意见提交的截止日期前三天，提醒评审专家注意时间节点，及时在系统提交。

对没有拒绝评阅并下载科学基金申请书，但经反复联系仍不返回通讯评审意见，或严重拖延通讯评审进度，影响科学基金评审组织的通讯评审专家予以关注，并在系统中标记描述本年度该通讯评审专家的具体情况。

（3） 及时核查评审意见

在提交通讯评审意见截至日期前，及时核对已收到的通讯评审意见，及时退回存在“张冠李戴”“一句话”（过于简单）等问题的评审意见，与评审专家电话沟通，请其修改完善后重新提交。

（4） 评估回收的通讯评审意见质量

采取双责任人核实机制，即学科处长和项目主任双责任人核实采集信息的准确性，做到通讯评审意见质量信息采集“零失误”。对部分评审极其不认真负责的通讯评审专家在系统中进行了标记。具体情形如评审专家对所有评审项目的评审意见均过于简单、笼统，重复度较高；绝大部分复制项目摘要的内容；相较于其他评审人，其对所有项目的评分均非常低；评审意见和打分等级不一致等。

2    管理科学部RCC评审机制改革效果分析

为了更好地评估管理科学部RCC评审机制改革效果，下面将基于评审专家对RCC试点工作的态度、通讯评审时效性、项目主任对通讯评审质量的评价、申请人对通讯评审意见的反馈、RCC评审机制改革宣传效果等五个角度来进行分析。

2.1    评审专家对RCC试点工作的态度

       为使分析更为客观，选择管理科学部通讯评审专家登录评审系统的次数进行研究。一般情况下，较多的登录次数与较少的登录次数相比较，前者对评审工作的关注度可能更高。试点项目与非试点项目的登陆次数对比如图3所示。

图3    登录评审系统的次数对比

首先，2021年青年科学基金项目（以下简称“青年项目”）和面上项目的规定返回日期前登录次数占比均为92.3%，比2019年高出近32个百分点，这表明RCC试点项目的效果显著，评审专家对于评审工作更为上心。其次，2019年，从发送评审邀请时起算，最晚的登录时间是规定的返回时间2.4倍，而2021年这一数字下降至1.4倍。总体来看，RCC试点使得专家更加关注评审工作。

2.2    通讯评审时效性

G01管理科学与工程学科2020年未开展RCC改革试点，2021年在面上项目和青年项目评审过程中全面启动RCC评审机制改革，对其两年的通讯评审时效性进行对比可以反映出RCC改革试点的效果。

图4对比了2020与2021年G01管理科学与工程学科面上项目、青年项目同行评议专家意见提交及时情况。图中每一个点代表一位专家，按照意见提交时间来排列。纵坐标为实际返回时间与要求返回时间之比，“=1”代表专家按时提交，“<1”代表专家提前提交，“>1”代表专家延迟提交。

图4    2020年和2021年G01管理科学与工程学科同行评议专家的意见提交及时情况对比

对比G01管理科学与工程学科两年的数据，可以发现两个显著特征：（1） 专家按时提交率明显提高：对于面上项目，2020年70%的专家按时提交评议意见，2021年该比例提高至80%；对于青年项目，2020年67%的专家按时提交评议意见，2021年该比例提高至75%。而对于未进行RCC试点的地区项目，2020年和2021年两年专家意见按时提交率几乎没有变化。这三组数据说明，RCC试点改革可有效提高通讯评议专家按时提交意见的概率。（2） 对于迟交意见的那部分专家，2021年拖延的时间比2020年有明显降低，例如2020年，最晚提交意见的专家花费了1.6~1.7倍的规定时间，而2021年，该数字降低为1.2~1.45倍。

G02工商管理学科、G03经济科学学科、G04宏观管理与政策学科存在类似的情况，启动RCC评审机制改革后，参与RCC试点改革的项目类型同行评议时效性明显优于未参与RCC试点改革的项目类型，RCC试点工作可有效提高同行评议专家按时提交率，如图5所示。

图5    2019年和2021年G02工商管理学科同行评议专家的意见提交及时情况对比

注：G02工商管理学科2021年在面上项目和青年项目中推行了RCC评审机制改革

2.3    项目主任对通讯评审质量的评价

2021年，管理科学三处组织项目主任对通讯评审意见进行RCC质量评估，将通讯评审专家意见质量按“非常好”“好”“一般”“较差”进行分类，并以此作为下一步对通讯评审专家是否进行标记的基础资料之一。2021年参与RCC评审机制改革试点的经济科学学科（G03）面上项目和青年项目、宏观管理与政策学科（G04）青年项目通讯评审意见经学科处评估，评阅意见质量的分布如图6所示。整体来看，绝大部分评审专家的评议是高质量的、是认真负责的。

图6    管理科学部对通讯评阅意见质量的评估结果

2.4    申请人对通讯评审意见的反馈

从管理科学部申请人反馈情况来看，G03经济科学学科和G04宏观管理与政策学科总计有20739份评审意见需要申请人反馈，但最终仅32.75%的申请人对通讯评审意见进行了评价，同时，约8%的申请人还添加了较为详细的意见。

通过对比评审意见和申请人反馈意见来看（如图7所示），无论是优先资助、可资助还是不予资助，申请人都表示了认可，打分为“很有帮助”和“有帮助”的比例均是最高的，打分为“帮助不大”和“无帮助”的比例均相对较小。与此同时，在通讯评审中“不予资助”的意见中，申请人反馈“帮助不大”和“无帮助”的情况较多（如图7所示）。

图7    申请人总体反馈意见分布情况统计（根据评审意见分类）

通过对比最终资助意见和申请人反馈意见来看（如图8所示），无论最终受资助与否，申请人都表示了认可，打分为“很有帮助”和“有帮助”的比例均是最高的。97%的获得资助项目，80%的未获得资助项目申请人认为通讯评审意见“很有帮助”和“有帮助”。打分为“帮助不大”和“无帮助”的比例均相对较小。

图8    申请人总体反馈意见分布情况统计（根据是否资助分类）

不同项目类型未资助申请者对通讯评审意见的态度存在一定差异（如图9所示）。超过半数的G04青年项目未资助申请者认为通讯评审意见很有帮助，约32%的未资助申请者认为通讯评审意见有帮助，换言之，接近90%的G04青年项目未资助申请者对通讯评审意见持有较为正面的反馈意见。对于G03青年项目未资助申请者来说，50%的申请者认为通讯评审意见很有帮助，31%的申请者认为有帮助，两者比例之和超过80%。对于G03面上和G04重点项目的未资助申请者来说，认为通讯评审意见很有帮助和有帮助的占比之和为70%左右。总体来看，通过RCC改革试点，增强了申请人对通讯评审意见的反馈，其中，青年项目未资助申请者对通讯评审意见的反馈最为积极，面上项目和重点项目未资助项目申请者则次之，同时，也体现了参与反馈的绝大部分申请人对评审意见的科学性、公正性持满意态度。

图9    不同项目未资助申请者对通讯评审意见的态度分布

2.5    RCC评审机制改革宣传效果

在会评期间，管理科学部向会评专家分发了问卷，获得了会评专家对RCC改革的反馈意见。经数据统计分析，会评专家100%了解RCC改革，了解RCC改革的主要途径是自然科学基金委工作人员宣传，约占70%。同时，专家收到RCC试点工作的函后，认为自己增强了评审标准①，主要体现在评议字数和打分标准上。

3    管理科学部RCC评审机制改革工作中发现的问题

尽管本次RCC试点取得了显著成效，但在试点过程中也发现了一些问题。

3.1    RCC可能导致专家意见中“优点多，缺点少”

基于RCC的反馈机制，导致专家在填写意见中过多谈优点，过少谈缺点。以G02工商管理学科申请复审的13份材料为例，存在这一问题：申请人认为专家评语全面正向化，但事实上经过检查，专家打分高低与评语表达并不一致。

3.2    RCC可能导致部分专家意见过长且套话多

基于RCC的反馈机制，现有专家为了增加评审意见的“量”，过多的使用空话、套话。“过短”评审意见不见了，但并没有提高评审意见的质量。

3.3    缺乏有效的信息传递、激励机制和约束机制

RCC改革虽然已经成为自然科学基金委和广大科学家的共识。但是，如何落实好RCC改革，形成有效的信息传递、激励机制和约束机制，还缺乏清晰的、明确的标准和规范^［1］。如申请人和评审人需要明确RCC的具体标准，增加硬信息，充分减低信息模糊和信息不对称导致的逆向选择和道德风险问题；信息传递流畅，负责任的行为会快速得到奖励，逆向选择和道德风险行为都会受到处罚，从而能够有效地实现好激励和约束，最终实现激励相容机制。

4    对RCC评审机制改革工作的建议

4.1    建立RCC评审典型案例库，加大宣传培训力度，提高双主体知晓率和参与深度

为使广大评审专家更加准确地理解和把握RCC评审机制的具体内涵，提升评审的科学性，建议根据申请项目学科类别、资助与否等不同情境从评审意见结构、评审用语规范等多个方面编制RCC评审典型案例库，供评审专家在通讯评审时参考学习。同时，还要面向项目申请人，采用多样化宣传及培训形式和系统设置，大力提高评审专家和项目申请人的双主体知晓率和参与深度。在内容和方式上：既要提高站位，从弘扬学术精神的高度宣传自觉，又要明晰底线，从不良记录惩戒的角度宣传自律，并采取制作网站视频、召开评审专家网络视频会等多种形式加强宣传；在操作形式上：建议在评审和查看系统中设置“RCC前置内容”，评审专家必须阅读并确认后方能进入评审环节，项目申请人必须阅读和对评审意见反评估后才能进入查询环节，增强双主体之间的互动互馈。

4.2    适当优化评审专家评审项目数量，为提升评审质量提供保障

为了确保科学家能够高效、高质量地完成科学基金的评审，自然科学基金委应适宜地限制评审专家的评审项目数量，延长项目的评审时间。广大科学家，尤其是研究成果突出的科学家，基本上都在高校和科研院所承担了大量的教学、科研和社会服务工作。与此同时，每年的集中评审阶段都是高校和科研院所毕业论文答辩的关键时点，广大科学家还承担着评阅校内外毕业论文、指导答辩的繁重任务。在评审期间，我们发现，不少交叉学科领域的专家往往被多个科学部指派评审，需要评审的项目申请书有时超过了60份，这种高强度的评审任务很难保证评审质量和评审的科学性、公正性，也给RCC改革的有效推行造成了障碍。

4.3    优化评审的信息系统管理，提升评审时效性

随着当今通讯方式的变革，科学基金评审的信息系统管理手段亦需要与时俱进，宜从过去单一的电子邮件通知方式逐步过渡到“手机短信+电子邮件”方式，加快评审信息的传递效率。在科学基金评审期前，及时更新专家库，通过手机短信和电子邮件通知专家更新评审系统里的联系方式等个人信息。通讯评审邀请通过手机短信和电子邮件发送，通知评审专家及时查看评审系统指派的项目信息。通讯评审过程中，项目主任定期跟踪评审专家的登录和提交情况，及时提醒未登录和未评议的专家。在信息系统中植入自动提醒功能，未登录和未评议的专家由信息系统自动发送电子邮件和短信进行提醒和催促，避免人工提醒过程中可能出现的失误和遗漏，提高基金评审工作的效率。

4.4    明确“责任”和“贡献”边界，建立合理激励机制，激发评审专家积极性

一方面，针对目前“责任”和“贡献”的边界不完全清晰，在今后的RCC评审机制实施中，可进一步明确哪些属于不良记录，哪些属于贡献记录，明确传达给评审专家。另一方面，针对评审专家对奖罚不明确等问题的担忧，RCC评审机制在今后的实施中，可参考国内外高水平期刊的实践，设立“优秀评审人”制度，每年遴选并发感谢信或公布名单，以便形成“认真评审光荣”的良好氛围。

参 考 文 献

［1］杨茜, 王聪. 国外资助机构在推进科研诚信类教育中的实践与启示. 中国科学基金, 2020, 34(3): 311—317.