大型语言模型干预措施在实践中的临床效果及报告质量：一项系统性的证据分析

《npj Digital Medicine》：Clinical outcomes and reporting quality of large language model interventions in practice: a systematic evidence map

　　

摘要

尽管关于大型语言模型（LLMs）在现实世界中的有效性的证据基础尚不完善，但这些模型仍被应用于临床场景。本研究通过系统性的证据梳理，分析了已发表的研究和注册的临床试验（2022年1月至2025年6月）中用于评估LLM性能的结局指标。对55项纳入研究的分析显示，在决策支持和症状管理方面，以人机协作设计为主（占65.5%）。仅使用LLM的干预措施主要关注功能表现和操作或流程影响结果（例如准确性和时间节省），而LLM辅助的干预措施在心理健康指标上显示出积极的临床效果。然而，仍存在关键的证据缺口：随机试验中的诊断准确性明显较低且波动较大（范围为0.65–0.88），而非随机试验中的诊断准确性通常≥0.80；临床效率的影响结果并不一致，报告质量也不尽如人意（平均CONSORT-AI依从性为78.8%），在数据质量和性能错误处理方面存在严重遗漏。这些发现表明，相关证据体系存在异质性和不足，因此需要制定标准化的核心结局指标集、强制使用专门的报告指南，并开展严谨的临床试验，以确保LLM的安全应用。