让患者参与人工智能治理

《BMJ Digital Health & AI》：Engaging patients in AI governance

患者参与AI医疗治理可提供关键视角，弥补专家对患者需求与风险认知的不足。通过建立患者合作伙伴机制，结合持续教育、多元背景协作和成果反馈，在保障治理时效性的同时实现患者有效参与，推动AI工具设计更符合患者实际需求和伦理准则。

　　

全球的医疗保健组织面临着确保其人工智能（AI）工具有效、安全且公平使用的压力。尽管患者是AI治理工作的主要受益者，但在美国的医疗保健组织中，患者基本上被排除在治理流程之外，这些流程主要由临床医生、数据科学家和伦理学家主导。1 2我们在斯坦福医疗保健机构（Stanford Health Care）作为患者代表参与AI治理的经验表明，尽管AI治理在技术上复杂，但患者的参与是可行且具有价值的。

让患者参与其中的理由非常充分。这有助于确保AI工具符合患者的优先事项，而不是专家的假设。尽管出发点良好，但由于关于患者观点的证据有限，专业人士可能会误传患者的利益。此外，患者最容易受到管理不善的AI系统带来的伤害。最后，让患者参与其中还有助于建立信任。^{4 5}

由于一些被认为存在的障碍，组织可能会犹豫是否让患者参与其中，但我们认为这些障碍都是可以克服的。AI在技术上非常复杂，而患者往往对其不够熟悉。AI治理流程需要高效运作才能发挥作用，但传统的有意义的患者参与需要建立长期的关系。理想情况下应让不同背景的患者参与，但实际上往往只能与小群体合作。

在几项基本原则的指导下（表1），我们招募了14名患者加入了一个名为“患者合作伙伴小组”（Patient Partner Panel，简称PPP）的长期学习社区，该小组协助对AI工具进行伦理评估。6小组成员会接受AI基础知识培训，并持续接受远程学习。在每月的焦点小组讨论中，成员们会结合具体的AI应用场景来探讨伦理问题。讨论过程中会使用通俗易懂的工具“解释说明”以及相关问题来了解患者的价值观和关切。伦理学家会对讨论内容进行主题分析，并在综合临床医生和AI开发者的意见后，为医疗系统领导者提出建议。3 7我们的流程设计得适用于资源有限的机构：除了访谈和主题分析外，不需要任何科学专业知识，两名调查人员和一名行政支持人员就能在30天内完成整个过程。

表1

•

患者合作伙伴小组的基本原则

一年后，我们的经验表明，患者能够提供关于负责任使用AI的宝贵且可操作的见解，同时不会影响评估的时效性。在我们医院拥有丰富护理经验的患者能够指出AI应用中存在的问题。例如，评估再入院预测模型的患者认为，导致医院再入院率高的问题可能有多种，但AI工具并未能解决这些问题。即使是没有技术背景的患者，只要接受了AI相关教育，也能提供有价值的意见。为此，我们建议为每种AI工具制作“解释说明”，并在患者小组中培养多样性。

我们发现，患者的偏好往往与AI专家和临床医生的不同。当利益相关者的价值观不一致时，伦理问题更有可能出现。8其中一个存在分歧的领域是是否应该向患者披露AI的应用场景：伦理学家通常支持披露，但患者认为在很多情况下，这种披露会给他们带来负担且没有实际意义。我们还观察到，临床医生和AI开发者经常强调AI工具对患者的某些所谓好处，而这些好处实际上患者并不十分重视——例如，有一种工具旨在减少术前血液检测，但患者认为这些检测并不会给他们带来负担。另一个分歧在于利益相关者对预测算法中的误报和漏报的容忍度：临床医生和开发者通常希望尽量减少误报，而患者则更重视避免漏报。最后，患者比专家更愿意质疑关于是否需要AI解决方案的假设。例如，在评估一种可用于确定是否适合进行临终关怀讨论的患者时，患者促使提出者解释为什么更好的医生间沟通不是更好的选择。

最后，培养一个学习社区有助于增强患者的参与度。虽然还有更高效的方式让患者参与AI治理（例如，将患者代表纳入监督委员会），但焦点小组能让患者通过与不同观点的同事讨论来学习和调整最初的看法。建立一个常设的小组是有益的，因为随着患者经验的积累，他们的贡献会越来越有价值。这些发现与其他研究结果一致，这些研究探讨了患者对AI治理最佳参与形式的偏好。2我们还建议定期与PPP成员沟通他们的工作成果，让他们了解自己的贡献如何影响了医疗系统的决策。患者很想知道自己的意见是如何影响决策的。分享参与思想领导活动的机会，以及患者见解如何促成政策改变的情况，也能让患者的工作更有意义。

总之，让患者参与AI治理是一项道德上的要求，也是确保AI满足患者需求并赢得他们信任的必要措施。负责任的创新要求那些承担最大风险的人能够在影响他们的决策中发出声音。未来的方向很明确：我们必须将患者从边缘位置带到AI治理的中心。