《Publications》：Experimenting with Grant Peer Review: A Mixed Methods Case Study of the Effects on Time Use and the Quality of Reviewing
编辑推荐：
由于时间限制而拒绝审稿邀请给同行评议（peer review）系统带来了压力，表明需要更省时的评议方式。本文介绍了一项关于基金申请同行评议（grant peer review）新形式的实地实验（field experiment）结果，并回答了这种新形式是否在节
由于时间限制而拒绝审稿邀请给同行评议（peer review）系统带来了压力，表明需要更省时的评议方式。本文介绍了一项关于基金申请同行评议（grant peer review）新形式的实地实验（field experiment）结果，并回答了这种新形式是否在节省时间的同时仍能提供高质量评议的问题。在新方法中，同行圈（Peer Circle, PC）——一组审稿人共同评估若干份基金申请。研究人员将同行圈（PC）应用于四个领域，并与采用传统同行评议（conventional peer review）的四个类似领域进行了比较。使用了定性和定量方法分析异质性数据，包括对审稿人的访谈和问卷调查、评议报告文本分析以及申请人文献计量数据（bibliometric data）的统计分析。比较结果表明，同行圈（PC）节省了时间，并显著扩大了审稿人群体。大多数审稿人认为，同行圈（PC）评估的质量至少与传统评估相当，甚至更好。鉴于这些发现，该实验现已以更大规模继续开展。此外，其理论意义在于，组织同行评议的方式对系统的运行具有重要影响。
**论文解读：基金申请同行评议新形式——同行圈（PC）的实地实验研究**
**研究背景、问题与意义**
同行评议（peer review）是科学评估的核心机制，尤其在基金申请（grant applications）中，高达95%的申请需经过同行评议。然而，传统同行评议面临严重挑战：审稿人因时间压力拒绝邀请的比例持续上升，导致审稿人短缺问题日益突出，甚至部分申请无法获得最低要求的双份评议。这一问题自2000年代中期即被报道，近年更趋恶化。此外，传统评议还存在可靠性低、偏见（如性别、地域偏见）以及评议质量下降等问题。为了缓解审稿人不足的压力并保持评议质量，研究人员探索了多种替代方案，如抽签制（lottery model）、分布式审稿（distributed peer review）、结构化审稿等，但均存在局限性。在此背景下，本研究聚焦于由德国亚历山大·冯·洪堡基金会（Alexander von Humboldt Foundation, AvH）开发的同行圈（Peer Circle, PC）新模式，旨在回答两个核心问题：PC能否缓解审稿人短缺？PC的评议质量是否至少与传统评议相当？论文发表在《Publications》。
**主要关键技术方法**
研究采用混合方法案例研究。关键方法包括：（1）对PC审稿人进行半结构化访谈（共56次）和问卷调查；（2）利用在线平台日志文件记录登录时长与活跃时间，量化时间投入；（3）对评议文本进行语言学分析（使用Linguistic Inquiry and Word Count, LIWC工具），比较写作风格、评价维度权重等；（4）对申请人进行文献计量分析（通过Scopus和SciVal获取PP5指标，即论文在被引前5%中的占比）；（5）观察委员会会议，记录讨论时长与参与人数。数据来源涵盖四个实验领域（无机化学、材料科学、动物学、现代史）与四个对照领域（固态化学、材料工程、植物学、古代史），以及2021年各领域的传统评议数据。
**研究结果**
**6.1 同行圈（PC）是否有助于缓解审稿人短缺？**
通过对比发现，PC显著扩大了审稿人群体。传统评议多邀请资深教授（以年长男性为主），而PC中女性占43%，54%为非教授，30-40岁研究者比例达32%-36%。日志分析显示，年龄与平台活跃时间无显著相关（r=0.10, p=0.34），说明年轻审稿人同样积极参与。时间投入方面，75%的受访者认为PC耗时合理；尽管PC成员需阅读多份申请，但80%的人仅完整阅读1-2份，其余部分审阅；评议采用非正式风格，节省写作时间。实验领域89份申请仅需29名PC成员（外加少量特聘专家），而传统模式需178名审稿人，PC减少约6倍人力。委员会讨论时间也更短，PC评审的申请平均参与讨论者更少，表明PC降低了不确定性。
**6.2 同行圈（PC）评议的质量**
- **评议风格**：语言学分析显示，传统评议的分析性风格评分平均97分（0-100量表），PC为87分（显著更低），表明PC更具叙事性；权威性（Clout）评分PC为46，传统为61（显著更低）；真实性（Authenticity）评分PC为48，传统为32（显著更高）。PC评议更开放、平等、真实。
- **评价标准的使用**：对评议文本的关键词分析表明，PC评议中非技术性术语（如职业前景、独立性、宿主机构）占比显著更高，而传统评议更侧重于项目技术细节。PC更均衡地覆盖了所有评价维度。
- **过早共识与成员互动**：84%的初始评论引发了对话，但多数对话较短（2-3条回复）。调查显示，80%的PC成员会参考他人评议，但多数认为这有助于形成自己的观点而非导致从众。受访者一致表示未发生群体思维（groupthink）现象。
- **识别最佳申请人**：对化学领域的文献计量分析（PP5指标）表明，申请人平均表现优于基准（5%），入选者与未入选者的文献计量得分存在重叠，说明评价依赖多维标准。
- **感知总体质量**：访谈和调查显示，几乎所有PC成员认为PC评议至少与传统评议一样全面，甚至更优。文本长度对比表明，传统评议更长，但PC评议中项目相关文本占比更高（41% vs. 34%），且更侧重于项目内容。
- **PC程序的接受度**：83%的PC成员偏好PC模式，主要优势包括：更多审稿人参与使评价更透明、客观；减少个别审稿人选择的影响；提供更广泛的本地知识；自我纠正机制。仅少数人文学科（现代史）审稿人持保留态度。
**讨论与结论**
讨论部分指出，PC相比其他替代方案（如分布式审稿、抽签制）更具优势：无需担心保密性或策略性评分，且每位申请均有多名审稿人保障可靠性。研究人员还提出改进建议，如在PC内加入评分与排名，以提高效率。结论部分翻译如下：
“案例研究得出以下结论。首先，作为替代评议方式的PC有助于缓解审稿人短缺。它需要的审稿人数量显著减少，对PC成员的工作量合理，总体节省时间，且可能个体也节省时间——这一结论基于访谈、调查和日志文件分析。尽管PC成员需要更多时间阅读，但由于（i）从其他成员的评议和评论中获得支持，以及（ii）更非正式和真实的写作风格（比传统评议写作耗时更少），时间得以节省。即使某位PC成员花费的时间多于传统审稿人，对于科学界而言，处理相同数量基金申请所需的PC成员远少于传统审稿人，因此节省时间。PC组织方式还解决了迟交和缺失评议的问题，因为每份申请所需的最低两份评议在传统模式中远未实现。其次，PC成员对PC评议质量满意，并提及多种优势，如对同一申请有更多视角，能通过比较一组申请更好地区分优劣。第三，发现两种评议模式存在差异，例如评价标准侧重点不同。多数PC成员表示PC较少关注项目中的小技术细节，这被视为优点。写作风格的差异表明审稿人与被审者之间的关系不同：PC评议风格更非正式，体现出更平等和真实的关系。最后，当要求PC成员对PC与传统评议进行总体评估时，绝大多数表示偏好PC。PC的接受度可能不成问题。总之，PC是一种可行的替代评议模式，实验已获扩大。”
