双流注意力引导学习在弱监督全切片图像分类中的应用

《Engineering Applications of Artificial Intelligence》：Dual-stream attention-guided learning for weakly supervised whole slide image classification

　　

曹道西|程航北|李一金|周若琳|张学汉|李新毅|李斌伟|顾宣成|张建安|刘学宇|吴永飞

太原理工大学计算机科学与技术学院（数据科学学院），中国山西省太原市030024

摘要

全切片图像（WSIs）由于其超高的分辨率和丰富的形态学信息，在癌症诊断中发挥着至关重要的作用。多实例学习（MIL）已成为解决WSIs庞大体积和实例细粒度注释稀缺问题的主流方法。然而，大多数现有的MIL方法仅使用切片级标签难以准确识别具有诊断意义的局部区域（实例），并且在建模实例之间的关系方面存在不足。为了解决这些问题，我们提出了一个双流注意力引导学习（DSAGL）框架。DSAGL通过教师-学生双流架构将切片级监督和实例级学习相结合，并通过生成注意力引导的伪标签来减轻实例的歧义性。该框架采用了一个轻量级的共享编码器来高效建模长距离依赖关系，并利用基于注意力的融合机制来增强对稀疏、信息丰富区域的敏感性。在合成基准数据和真实世界病理WSI数据集上的广泛实验表明，DSAGL在弱监督条件下始终优于现有的MIL方法，表现出更出色的判别性能和鲁棒性。

引言

全切片图像（WSIs）由于其超高的分辨率和丰富的形态学信息，已成为现代病理诊断的基本成像方式（Niazi等人，2019年；Shmatko等人，2022年；Dimitriou等人，2019年；Wu等人，2024年）。通过捕捉微观层面的细粒度组织结构，WSIs为癌症诊断和治疗计划提供了关键证据。然而，它们巨大的体积和复杂的组织异质性给自动化分析带来了重大挑战（Farahani等人，2015年；Song等人，2023年）。特别是，为WSIs获取详尽的实例级注释需要专家病理学家的大量工作，这使得在大规模临床环境中完全监督的学习方法不切实际。这些限制激发了对计算病理学中弱监督学习范式的兴趣（H. Li等人，2023年；Lin等人，2023年；Nakhli等人，2023年；Ryu等人，2023年；Tang等人，2023年）。

在弱监督方法中，多实例学习（MIL）已成为WSI分类的主要框架（Hou等人，2022年；Ilse等人，2018年；Li等人，2021年；Lu等人，2021年）。在MIL中，WSI被视为包含众多图像块的“袋子”，而训练时仅提供袋子级别的标签（H. Zhang等人，2022年；Amores，2013年）。这种形式显著降低了注释成本，并与临床诊断实践相符。尽管有这些优势，现有的MIL方法仍存在明显局限。许多方法依赖于简单的聚合策略，如基于注意力的池化（Ilse等人，2018年），或者假设实例之间的独立性，这限制了它们捕捉远距离组织区域复杂依赖关系的能力。因此，这些模型在病理模式稀疏和异质的情况下往往难以准确识别具有诊断意义的实例。此外，在弱监督条件下，提高实例级别的判别能力通常会以牺牲袋子级别的分类性能为代价，从而限制了模型的泛化能力和临床应用性。

最近的研究探索了更具表现力的架构来克服这些限制。卷积神经网络（CNNs）（Alex等人，2011年）受限于其有限的感受野，难以建模长距离依赖关系（Gu和Dao，2023年；Hao等人，2024年；Zhu等人，2024年）。基于Transformer的架构（Han等人，2022年；Liu等人，2022年）虽然能够捕捉全局上下文，但由于计算复杂度与实例数量成二次方关系，导致在千兆像素WSIs上的可扩展性较差（Zhu等人，2024年；Hao等人，2024年）。此外，广泛采用的单流MIL架构（Jiang等人，2022年）通常缺乏明确的实例级消歧机制，导致注意力机制集中在视觉上占优势但诊断上无关的区域。这些挑战突显了需要更高效、更鲁棒的弱监督框架，以同时建模长距离依赖关系并提高实例级别的判别能力。

为了解决上述挑战，我们提出了DSAGL（双流注意力引导学习），这是一种基于双流教师-学生架构的新型弱监督分类框架，具有注意力引导功能。DSAGL旨在捕捉实例间的相关性，同时提高MIL模型中的实例级判别能力和袋子级别分类性能。该框架包括一个统一的特征提取主干网络和一个双流结构。具体来说，教师流采用多尺度注意力机制来关注具有诊断意义的实例，从而实现准确的袋子级别分类，并生成高质量的软伪标签。在这些伪标签的引导下，学生流进行实例级别分类，从而提高细粒度的判别能力。此外，如图1(b)所示，DSAGL采用教师流和学生流之间的交替训练策略，与传统双流模型采用的顺序策略不同。这种协作优化增强了语义一致性，并进一步提高了整体模型性能。

为了进一步提高模型在弱监督下的表示能力和泛化能力，DSAGL融入了两个关键组件：一个视觉感知的Skip-connected Selective Mamba编码器（VSSMamba），用于高效建模长距离依赖关系，具有线性复杂度；以及一个融合-注意力感知的尺度感知模块（FASA），用于强调稀疏但具有诊断意义的区域。这些设计使DSAGL能够有效利用粗粒度标签进行准确的WSI分类。在两个合成数据集（CIFAR-10和NCT-CRC）和一个真实世界病理数据集（TCGA-Lung）上进行的广泛实验表明，DSAGL在实例和袋子级别上都优于代表性的MIL基方法，显示出其强大的判别能力和在不同场景下的泛化能力。

本工作的主要贡献总结如下：

• •
  我们提出了一种新型的弱监督分类框架DSAGL，它结合了双流架构和教师-学生机制，共同优化了实例级别的判别能力和袋子级别的分类性能，解决了传统MIL方法在语义建模方面的局限性。
• •
  我们引入了一种交替训练策略，以增强语义一致性，促进了教师流和学生流之间的协作优化，显著提高了模型在复杂病变识别场景中的鲁棒性和泛化能力。
• •
  一个轻量级的VSSMamba主干网络，用于高效建模长距离依赖关系；以及一个多尺度注意力模块FASA，用于捕捉稀疏肿瘤区域中的判别模式。

本文的其余部分组织如下：第2节回顾相关工作并指出当前的局限性和挑战。第3节重点介绍所提出的模型架构，详细说明其设计和关键技术组件。第4节展示了在三个数据集上的实验结果以及消融研究。第5节讨论了所提出方法的优点和局限性。最后，第6节总结了本文并概述了未来研究的潜在方向。

章节片段

WSI分类的多实例学习

多实例学习（MIL）（Wan等人，2019年；Shi等人，2024年；Shi等人，2024年）已成为计算病理学中广泛采用的弱监督方法，特别适用于具有极高分辨率和大规模组织内容的WSIs。在MIL中，每个WSI被划分为一组补丁（实例），并且仅在袋子级别提供监督。这消除了对密集注释的需求，并显著降低了

方法

本节详细介绍了所提出的方法框架，包括问题的正式定义、模型的整体架构设计以及关键组件的构建原则，包括VSSMamba和双流网络。

数据集

为了全面评估所提出的DSAGL框架在不同图像分辨率和弱监督条件下的可扩展性和泛化能力，我们在三个逐渐增加复杂性的数据集上进行了实验，如图4所示。这些数据集的选择旨在模拟从低级合成图像到高分辨率WSIs的实例分辨率范围，从而能够更系统地评估模型的鲁棒性和适应性。

所提出框架的优点

所提出的DSAGL框架在弱监督WSI分类方面表现出几个优点。通过引入双流架构，该模型有效地弥合了袋子级别和实例级别学习之间的监督差距。交替训练策略促进了教师流和学生流之间的双向知识传递，增强了预测一致性和训练稳定性。此外，集成基于Mamba的编码器使得

结论

在这项工作中，我们提出了DSAGL，一种新型的双流教师-学生框架，用于弱监督WSI分类。通过结合注意力引导的伪标记和交替训练策略，DSAGL有效地弥合了粗粒度监督和细粒度实例级别学习之间的差距。集成基于Mamba的编码器使得模型能够以线性复杂度高效建模长距离依赖关系，从而处理大规模实例集

CRediT作者贡献声明

曹道西：撰写——原始草稿、可视化、验证、软件、方法论、形式分析。程航北：撰写——审阅与编辑、方法论、概念化。李一金：撰写——审阅与编辑、概念化。周若琳：验证、调查、概念化。张学汉：验证、形式分析、概念化。李新毅：验证、形式分析、概念化。李斌伟：验证、调查、概念化。顾宣成：

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中国国家自然科学基金（项目编号：62572339和61901292）、山西省自然科学基金（项目编号：202303021211082）以及山西省研究生科学研究与创新项目（项目编号：RC2400005593）的支持。我们衷心感谢审稿人和编辑提出的建设性意见和建议。