何时保持沉默更安全：面向医疗领域大型语言模型回避行为的综述与决策理论框架

《npj Digital Medicine》：When silence is safer: a review and decision-theoretic framework for LLM abstention in healthcare

　　

摘要

大型语言模型旨在为用户的问题生成答案，这往往使它们在存在高度不确定性、信息不完整或应当拒绝回应时仍会给出答复。在医疗领域，这种倾向可能十分危险：错误但看似可靠的医疗建议可能会造成严重危害，因此具备拒绝回应的能力尤为重要。本文综述了有关大型语言模型在医疗场景中拒绝回应行为的研究。现有研究主要指出两种动机：一是基于不确定性的拒绝，即当模型对答案的置信度较低时会选择不回应；二是基于安全考虑的拒绝，即模型会避免提供可能有害的信息。目前大多数相关机制都是外在的，依赖辅助工具来决定何时拒绝回应。我们发现，最先进的大型语言模型仍然难以拒绝不合适的请求，而且很少有评估标准是在真实的医疗场景下测试拒绝行为的，这类场景下的模型表现往往不如其他领域。基于这些发现，我们提出了一种基于决策理论的拒绝行为建模方法，用于分析在存在不确定性及潜在危害时回应与不回应之间的权衡。以此为基础，我们设计了MedSAFE框架，用于评估临床对话中的拒绝行为，并通过基于现有研究案例设计的概念验证试验展示了该框架的实际应用效果。