《Frontiers in Research Metrics and Analytics》：Navigating the ethical landscape of scholarly publishing: a comparative evaluation of Gemini and DeepSeek LLMs in addressing authorship and contributorship disputes
编辑推荐：
本研究针对日益复杂的出版伦理（尤其是作者争议）难题，系统比较了Google Gemini 2.5 Flash与DeepSeek-V3.2两大LLM在12个COPE真实案例中的表现。结果显示，二者在建议可操作性及安全性上表现卓越（满分5分），虽存在“法律盲区”，但能提供COPE专家未提及的创新策略（如作者脱离声明），是期刊编辑极具价值的辅助工具。
随着全球科研产出的爆炸式增长，学术出版的伦理版图正变得前所未有的错综复杂。在这场没有硝烟的学术战争中，作者署名权与贡献者身份的纠纷，往往是编辑们最头疼的“罗生门”。谁能上作者名单？谁该排第一？谁的贡献足以支撑一篇论文的基石？这些看似简单的名利分配问题，背后往往牵扯着微妙的人际博弈和对技术贡献的不同解读。长久以来，面对这些棘手的伦理困境，期刊编辑们只能求助于国际出版伦理委员会（Committee on Publication Ethics, COPE）的专家论坛，寻求基于经验的集体智慧。然而，随着大语言模型（Large Language Models, LLMs）的横空出世，这一局面正在发生剧变。从临床决策支持到医学教育，LLMs展现出了惊人的逻辑推理能力，甚至能识别临床试验中的伦理漏洞。这不禁让人遐想：能否让AI成为虚拟的“伦理法官”，辅助编辑处理那些剪不断理还乱的作者纠纷？
带着这样的疑问，一项开创性的研究应运而生。研究人员选取了Google Gemini 2.5 Flash和DeepSeek-V3.2这两款代表业界顶尖水平的开源LLM，将它们的“大脑”直接接入COPE论坛中真实的12个作者身份与贡献者争议案例（均来自2020年）。为了确保评估的严谨性，研究团队设计了三种不同的“考题”模式——极简提示（Minimal）、确定性提示（Deterministic）和随机性提示（Stochastic），以此考察模型在不同引导下的表现。随后，由独立评审员依据包含7个维度的5分量表对模型的回答进行打分，并与COPE专家的原始回复进行比对。这项旨在探索AI能否成为编辑部得力助手的研究成果，最终发表在了《Frontiers in Research Metrics and Analytics》杂志上。
为了开展这项研究，作者采用了观察性横断面设计。研究的核心数据来源于COPE论坛2020年发布的12个关于作者身份与贡献者争议的匿名案例。在技术方法上，研究使用了两种具有代表性的开源LLM：Google Gemini 2.5 Flash（一种稀疏混合专家Mixture-of-Experts, MoE架构，优化用于多模态推理）和DeepSeek-V3.2（一种高参数MoE框架，专为极高计算效率和高级思维链处理设计）。针对每个案例，分别采用三种提示策略（极简、确定性、随机性）输入模型以获取响应。评估阶段则构建了一个多维度的评价体系，包含对COPE论坛视角的忠实度、伦理问题识别、建议可操作性、与COPE原则的一致性、安全性与避免幻觉、清晰度与结构、整体适当性等7个领域，由两名独立评分者使用5点Likert量表进行评分，并通过Cohen's kappa系数评估评分者间信度。此外，还通过相似性评分（1-5分）和一致性分类（完全同意至矛盾）对模型输出与COPE专家意见进行了定性比对，并使用R软件进行统计分析。
Overview of model responses
研究结果显示，两个模型在所有12个案例中均提供了全面完整的回答，评分者间信度良好（Cohen's kappa = 0.76）。这表明现代LLM在处理复杂文本任务时具有极高的稳定性。
Comparative model overall performance
在整体性能对比中，两个模型展现出了极高的操作指标水平。它们在“建议的可操作性”（Actionability of Recommendations）上均获得了完美的5分，在“安全性与避免幻觉”（Safety and Avoidance of Hallucination）上也拿到了4.88分的高分，证明了它们生成可靠、可直接执行输出的能力。但在具体领域的对齐和结构质量上存在差异：DeepSeek在与COPE原则的一致性（Consistency with COPE principles）上略胜一筹（4.45 vs. 4.12）；而Gemini则在清晰度与结构（Clarity and structure）以及整体适当性（Overall appropriateness）上表现更佳（分别为5 vs. 4.97和4.03 vs. 3.82）。值得注意的是，两者在“对COPE论坛视角的忠实度”和“伦理问题识别”上得分最低（约3.8-3.9分），显示出AI在捕捉细微主观视角和复杂伦理底层逻辑时的局限性。
Impact of prompt types on model performance
提示策略对模型表现的影响呈现出截然不同的模式。两个模型在“可操作性”和“安全性”上表现出极强的鲁棒性，不受提示类型影响。然而，Gemini对提示复杂度极为敏感：在使用极简提示时，其“伦理问题识别”得分仅为3.55，而在确定性和随机性提示下跃升至4.09。相比之下，DeepSeek展现了惊人的稳定性，在不同提示策略下各项得分几乎保持不变。这说明虽然DeepSeek提供了更高的可靠性，但Gemini的性能（尤其是细致的伦理识别）高度依赖于输入的特异性和引导方式。
Qualitative analysis and alignment with COPE members responses
定性分析进一步证实了模型与专家标准的高吻合度。在与COPE论坛结论的对比中，Gemini仅有8%的重大分歧率，而DeepSeek的综合分歧率为16%（含8%轻微分歧和8%重大分歧）。相似度评分显示，使用确定性和随机性提示能将平均相似度从极简提示下的3.9提升至4.1。Gemini在极简提示下方差较大，说明其性能波动更依赖输入结构的质量。
Comparison of LLM responses across individual cases
通过对12个具体案例的深度剖析，研究发现了一个有趣的现象：虽然两个模型都偶尔遗漏了一些特定的法律或行政细节（如检查版权侵权、核实出版协议、联系第二机构等），但它们都提供了许多COPE原始回复中没有的“增值”策略。例如，Gemini倾向于采取更激进的学术诚信立场，明确将行为标记为“科学不端行为”并建议制裁，还提出了“作者脱离声明”（Author Disassociation Statement）的概念；DeepSeek则擅长提供结构化的申诉响应和机构验证流程。这种互补性表明，LLM不仅仅是复读机，更是潜在的创新解决方案提供者。
Key findings
研究的核心发现指出，LLMs在处理作者身份与贡献者争议方面已具备相当高的能力，与COPE专家意见高度一致。它们虽然在安全性和结构性清晰度上表现卓越，但普遍存在对学术出版中正式行政和版权法律细微差别的“法律盲区”。同时，提示工程对Gemini的性能提升显著，而DeepSeek则表现出更强的稳定性。更重要的是，LLM能够提出如“作者脱离声明”和编辑降级培训等新颖策略，证明其作为初步伦理筛选工具的价值。
Comparison with existing literature
与现有文献相比，该研究首次将LLM应用于辅助期刊编辑处理作者伦理困境。结果与之前ChatGPT在医学伦理测试中表现良好的结论相呼应，但也指出了模型在处理极度复杂场景时的深度不足。研究认为，模型缺乏特定领域的微调（如检索增强生成Retrieval-Augmented Generation, RAG）以及对专有法律合同的不可见性是导致“法律盲区”的主要原因。
Strengths, limitations and way forward
研究的优势在于其多维度的评估框架和真实世界的案例测试。局限性则在于样本量较小（仅12例）且仅限于作者身份单一领域，未涉及剽窃、数据造假等其他出版伦理范畴，也未涵盖AI生成内容这一新兴挑战。此外，评分者的主观性和缺乏盲法也是潜在偏倚来源。未来的方向在于开发针对特定领域的本地化LLM，结合法律框架和COPE案例库进行训练，并利用多智能体系统进行辩论以提高决策准确性。
综上所述，这项研究为学术出版界描绘了一幅人机协作的未来图景。LLMs如Gemini和DeepSeek已经成长为高效的辅助工具，能够在结构化提示和人类监督下，为编辑提供安全、清晰、可操作的伦理指导。尽管它们尚无法替代专家委员会的法律和机构监督，也无法完全克服“法律盲区”，但其提出的创新策略和高效的初步筛查能力，无疑将极大地提升编辑部的工作效率和决策质量。这不仅是对AI能力的一次成功验证，更是对未来智能化学术出版流程的一次大胆预演。
