UNICORN：一种用于整合组织病理学中多染色数据的深度学习模型

《npj Digital Medicine》：UNICORN: a deep learning model for integrating multi-stain data in histopathology

　　

摘要

利用深度学习整合多染色组织病理学图像是一项极具挑战性的任务。现有的方法难以应对数据异质性和缺失数据的问题，因为简单地将多染色特征拼接在一起可能无法有效模拟不同染色特征之间的相互作用。我们提出了UNICORN模型（用于冠状动脉分类的通用染色整合网络），这是一种两阶段、端到端可训练的模型，它借助Transformer自注意力机制来处理多染色组织病理学图像，从而预测动脉粥样硬化的严重程度。初始阶段会使用领域特定的专家模型从每种染色中提取特征，随后另一个聚合专家模型通过学习这些特征之间的相互作用来将它们整合起来。在基于慕尼黑心血管研究生物库（MISSION）的动脉粥样硬化病变多类别、多染色全切片图像数据集上，UNICORN模型的分类准确率达到了0.68，显著优于现有的最先进模型。该模型能够识别不同染色下的相关组织表型，并隐式地模拟疾病的进展过程。其可解释性以及在预测动脉粥样硬化进展方面的有效性，凸显了其在医学研究和决策支持领域更广泛应用的潜力。