使用一种通用且不受模式限制的审计方法来检测医疗人工智能数据集中的偏见

《npj Digital Medicine》：Detecting dataset bias in medical AI using a generalized and modality agnostic auditing approach

　　

摘要

尽管在人工智能（AI）应用于医疗保健领域的过程中取得了许多成功案例，但也有大量报告指出AI在实践中存在显著缺陷和意外行为。其中一个主要风险在于AI依赖于基于关联的学习方法，这种学习方式可能导致非代表性的机器学习数据集在训练过程中放大潜在偏见，并在测试阶段掩盖这些偏见。为了开发出能够检测此类AI偏见问题的新工具，我们提出了“广义属性效用与可检测性诱导的偏见测试”（G-AUDIT）方法。G-AUDIT是一种不依赖于数据模态的数据集审计方法，它通过分析任务级注释、传感器级测量数据以及患者特征、环境因素和数据采集方式之间的相互作用，自动量化AI中的“捷径学习”风险（即通过简化算法来提高性能的行为）。我们通过分析三种不同数据模态（图像、文本和表格数据）和多种机器学习任务，证明了该方法的广泛适用性，成功识别出了传统定性方法常常忽略的潜在问题。