《Cancer Letters》：Artificial Intelligence in Clinical Oncology: Multimodal Integration and Translational Development
编辑推荐：
人工智能与癌症诊疗的多模态整合研究综述|医学大模型|合成数据生成|精准医疗|临床转化
林瑞聪|赵振辉|刘中海|康静|张康|黄晓英|余云芳
澳门科技大学医学院中医系、澳门人工智能医学研究所、创新工程学院、计算机科学与工程学院，中国澳门特别行政区
摘要
人工智能（AI）正在迅速重塑临床肿瘤学，因为癌症护理越来越依赖于整合来自放射学、数字病理学、基因组学和纵向电子健康记录的异构数据流。然而，这些多模态输入的复杂性和碎片化仍然是实现真正个性化癌症管理的主要瓶颈。AI的最新进展，包括基础模型、合成数据生成、大型语言模型和智能代理，使得表示学习、跨模态推理和临床可操作的决策支持比传统的单一模态系统更加强大。基于AI的平台现在正在加速分子亚型分类，细化风险分层，并通过联合建模成像、组织结构和分子特征来支持个性化治疗建议。此外，新兴的虚拟细胞和机制基础框架引入了一种新的计算范式，用于模拟细胞反应和药物-肿瘤相互作用，为治疗设计和药物发现提供预测性见解。尽管取得了这些突破，但仍存在关键挑战，包括在不同患者群体和中心之间的泛化能力有限、前瞻性验证不足、监管不确定性、可扩展性限制以及关于公平性、透明度和隐私的伦理问题。在这篇综述中，我们从转化医学的角度综合了多模态肿瘤学AI的最新进展，强调了方法学权衡、验证准备情况和负责任的部署框架。我们重点介绍了AI如何从基于性能的基准测试转向临床可信的精准癌症护理，这对早期检测、诊断、治疗优化、药物开发和临床试验设计具有变革性影响。
引言
癌症仍然是全球最严峻的公共卫生挑战之一，其发病率和死亡率持续上升[1]。根据最新的流行病学报告，2022年全球约有2000万新发癌症病例和1000万癌症相关死亡病例，预计到2050年新发病例数量将增加77%。这一趋势不仅威胁个人健康，也给全球医疗系统带来了巨大压力[1]、[2]、[3]。早期诊断和及时干预对于提高癌症生存率至关重要。然而，当前的临床实践面临许多挑战[4]、[5]。主要困难包括在筛查中平衡灵敏度和可负担性、实现诊断与治疗的有效整合、缓解医疗资源分配不均的问题，以及减少不良事件对生活质量及随访和生存管理期间医疗成本的长期影响[4]、[5]、[6]、[7]。解决这些问题需要开发精确的工具、优化流程和跨学科合作。
人工智能（AI）的引入及其与多模态数据的深度整合正在重塑传统的癌症诊断和治疗模式。例如，在中枢神经系统（CNS）肿瘤中，成像和组织学往往无法提供准确的分子分类[8]。然而，最近的研究表明，将无标记光学成像与AI模型结合可以在几分钟内对弥漫性胶质瘤进行分子亚型分类，显著提高诊断效率和准确性。此外，DNA甲基化模式越来越多地被用于CNS肿瘤分类的AI模型中。例如，使用全基因组DNA甲基化数据的机器学习算法在诊断模糊病例时显示出比传统组织学方法更高的准确性[9]。现在正在整合多种来源的数据，如成像、病理切片、基因组学、转录组学和电子健康记录（EHR）。先进的深度学习技术，如卷积神经网络（CNN）、图神经网络（GNN）和空间转录组学，不仅提高了诊断的精确性和一致性，还实现了肿瘤的快速分子亚型分类。例如，NePSTA框架将空间转录组学与GNN结合，在常规CNS肿瘤诊断中实现了卓越的亚型区分准确性[10]。
研究表明，多模态整合通常优于单一模态方法，因为它能更好地结合分子机制与临床和成像表型，从而提供更全面和准确的风险评估、预后预测和治疗决策支持[11]、[12]。例如，基于Transformer架构和跨模态注意力机制构建的多模态AI模型LUCID，整合了CT成像、临床症状、实验室检测结果和人口统计信息，可以无创地预测肺癌患者的EGFR基因突变和生存结果。这展示了生成式AI在分子亚型分类和预后评估中的非侵入性、高性能和稳健性[13]。合成数据和大型模型的应用正在突破数据瓶颈，帮助克服由于数据不足导致的传统癌症研究的局限性，使各种癌症类型的分析和预测更加准确。例如，MINIM基础模型能够根据文本描述合成一系列医学图像，包括光学CT（OCT）、眼底图像、胸部X光和CT扫描。它生成高质量的医学图像，在肿瘤基因突变检测等临床任务中，合成图像提高了预测准确性，尤其是在肺癌领域，合成数据提高了EGFR突变检测的准确性，最终提高了5年生存率[14]。
随着大型语言模型（LLMs）的不断发展，从通用模型如ChatGPT和DeepSeek到专为医学领域设计的模型如MedPaLM和MedFound，AI在医疗保健中的作用正朝着更高的专业化和精准化方向发展[15]、[16]、[17]。这些特定于医学的模型深刻理解医学术语和临床背景，提供更准确的诊断、治疗建议和个性化治疗计划[18]。未来，多模态数据、合成数据、虚拟细胞、LLMs和LLM驱动的智能代理的整合将推动个性化癌症护理的发展[8]、[19]。为了确保系统的和客观的概述，我们采用了在PubMed、Web of Science和Google Scholar上的结构化文献搜索策略，重点关注2020年后发表的同行评审研究。符合条件的研究涉及人工智能在肿瘤学中的应用，特别是那些具有多模态数据整合、方法学创新和临床或转化相关性的研究。对于每个主题部分，首先通过关键词搜索识别研究，然后根据技术严谨性、代表性和期刊质量进行筛选，排除了非肿瘤学、非同行评审或方法学不足的研究。这篇综述系统地概述了AI在肿瘤学中的关键进展和未来方向，包括早期筛查、精准诊断、个性化治疗和临床试验，特别强调了整合病理学、放射学、组学和EHR的转化医学框架。此外，它还独特地综合了合成数据生成和LLMs在临床工作流程中的应用进展，突出了它们在促进实际临床转化中的作用。
小节片段
AI在癌症早期筛查中的应用
早期癌症筛查对于提高患者生存率至关重要，因为及时诊断和干预可以显著改善预后[20]。AI的应用通过提高敏感性、特异性和效率，改变了癌症筛查领域，提供了在早期阶段检测癌症的新方法。传统的神经网络主要处理结构化数据，在处理多种数据类型和整合来自不同来源的信息方面存在局限性。
AI驱动的癌症药物发现创新
AI通过整合多组学数据，改进目标识别并加速药物开发，正在彻底改变癌症药物发现。通过先进的机器学习和生成式AI模型，AI加速了致癌驱动因素的识别、药物筛选和治疗优化，为应对具有挑战性的癌症提供了新的机会。
AI支持的精准诊断和治疗
AI支持的精准诊断和治疗在肿瘤学中依赖于多模态整合。通过结合多种数据源，如成像、病理学、基因组学和临床记录，AI系统可以提供更准确、全面的肿瘤检测、分类和治疗计划见解。多模态融合通过整合来自不同模态的互补且非冗余的临床见解，提高了诊断准确性和治疗个性化。
AI在临床试验中的应用
AI通过增强药物发现、患者招募和数据分析，正在彻底改变临床试验。通过个性化治疗建议、精准药物筛选和改善患者匹配，AI加速了试验效率。此外，AI驱动的平台优化了试验设计、预测结果并增强了临床决策，最终提高了临床试验的精准度和成功率。
挑战
尽管人工智能在肿瘤学领域取得了快速进展，但将AI模型从回顾性基准测试成功转化为常规临床实践仍受到几个基本障碍的制约。其中，分布变化下的泛化能力、现实世界数据中的偏见以及伦理和监管挑战构成了必须系统解决的关键限制，才能使肿瘤学AI系统成为多学科癌症护理的可靠组成部分。
结论和未来方向
AI通过实现数据驱动的精准癌症护理，正在改变肿瘤学。通过多模态整合、合成数据生成和先进的AI模型，它提高了早期检测、诊断、治疗计划和药物发现的能力。基于AI的平台加速了分子亚型分类，细化了风险分层，并支持个性化治疗建议，提供了比传统单一模态系统更强大的临床决策支持。
尽管取得了这些进展，但仍存在关键问题
CRediT作者贡献声明
赵振辉：撰写——原始草稿，监督，调查，数据管理。刘中海：撰写——原始草稿，验证，方法学，概念化。康静：撰写——审阅与编辑，可视化。张康：撰写——审阅与编辑，撰写——原始草稿，可视化，验证，监督，调查，资金获取，正式分析，数据管理，概念化。黄晓英：撰写——审阅与编辑，可视化，验证，监督。
作者声明没有利益冲突。
? 作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。
致谢
本研究得到了国家自然科学基金（编号：82404087）、广东省基础与应用基础研究基金（编号：2025A1515011563）、广东省科技厅（编号：2024B1212030002）、中山纪念医院科学研究启动项目（编号：SYSQH-II-2024-07）、中山大学中山纪念医院医工融合项目（编号：YYXGRH202605）以及澳门科学等机构的资助。
