一种用于肌肉骨骼X光片的大规模视觉基础模型

《npj Digital Medicine》：A large-scale vision foundation model for musculoskeletal radiographs

　　

摘要

人工智能（AI）在从放射图像中检测和表征肌肉骨骼疾病方面展现出了潜力。然而，大多数现有模型仍然具有任务特异性、依赖注释，并且在跨疾病和解剖区域的适应性方面存在局限。尽管临床上需要一个基于大规模肌肉骨骼放射图像训练的通用基础模型，但公开可用的数据集在规模上仍然有限，且缺乏足够的多样性，无法覆盖广泛的肌肉骨骼状况和解剖部位。在这里，我们提出了SKELEX，这是一个针对肌肉骨骼放射图像的大规模基础模型，它通过120万张多样化且包含丰富病变信息的图像进行自监督学习训练而成。该模型在12项下游诊断任务中进行了评估，在骨折检测、骨关节炎分级和骨肿瘤分类方面普遍优于基线模型。此外，SKELEX还展示了基于无监督重建的异常定位能力，能够在无需特定任务训练的情况下识别出病变区域。基于这一能力，我们开发了一个可解释的、基于区域的骨肿瘤分类器。该模型在独立的外部数据集上保持了稳健的性能，并被开发为一个公开可访问的Web应用程序，证明了其在临床应用中的潜力。总体而言，SKELEX提供了一个可扩展、标签使用效率高且适用范围广泛的AI框架，尤其在骨肿瘤应用中展现了其强大的外部有效性。