DDVMM：一种用于单模态医学图像配准的双分支金字塔模型

《Computer Methods and Programs in Biomedicine》：DDVMM: A dual-branch pyramid model for mono-modal medical image registration

　　邹茂阳|吴玉兰|陈军|刘强 中国四川成都610225，成都信息工程大学人工智能学院（双流产业学院） 摘要 背景与目标：医学图像配准在临床诊断和图像引导干预中起着关键作用。然而，基于卷积神经网络和Transformer的方法在同时实现高配准效率和精度方面仍面临挑战，尤其是在处理大范围变形和显著解剖结构差异时。因此，对于医学图像分析而言，一种更为强大且高效的配准框架极为必要。方法：我们提出了DDVMM，这是一种双分支金字塔形配准模型，整合了Transformer和状态空间模型，以增强多尺度特征提取和全局结构感知能力。编码器包含方向深度卷积模块和可变形多头自注意力模块，用于提升局部边界和方向特征提取能力以及长距离空间依赖关系建模。解码器则采用基于状态空间模型的引导特征交互模块，通过隐藏状态传播捕捉大尺度空间背景，并融合多尺度特征以改善结构对齐和细节优化。该网络采用上下文引导的从粗到细的变形估计策略，逐步优化变形预测，从而提高整体配准精度。结果：我们在两个公共数据集上进行了大量实验，分别是ACDC心脏数据集和OASIS-1脑部数据集。实验结果表明，与现有方法相比，所提出的方法获得了更高的平均Dice相似度分数以及更低的平均边界误差。结论：本研究提出了一种新颖的双分支金字塔形配准框架，有效结合了Transformer和状态空间模型，提升了全局结构感知和局部细节对齐能力。所提出的DDVMM在处理大范围变形和解剖结构差异时表现出更好的配准性能，且参数更少，实现了更好的性能-参数平衡。代码地址为https://github.com/wyl32123/DDVMM。引言 医学图像配准旨在通过精确估计非线性空间变换，实现多源图像的精准对齐。这项技术在疾病监测、治疗规划以及术前导航等临床应用中发挥着重要作用[1]、[2]。然而，由于受受试者间解剖结构差异、病理变化以及器官运动等因素导致的复杂非线性变形，实现精准配准仍然是一项重大挑战。尤其是肿瘤生长或消退、周期性心脏运动以及术中组织变形等情况，往往会导致图像之间出现大幅度的变形，进一步增加了配准的难度。近年来，基于深度学习的方法通过数据驱动的方式学习变形场，提升了配准性能。尽管取得了这些进展，但处理大规模复杂变形仍然是一个尚未解决的难题。现有的深度学习配准方法在处理大范围变形时各有优势，但都面临着“局部”与“全局”表征不平衡的问题。基于CNN的方法能够高效提取局部纹理和边缘，但其有限的感受野使得难以捕捉区域间的长距离依赖关系；多阶段策略（级联或金字塔结构）通过逐步优化变形场来缓解这一问题，但会增加额外的计算开销，或者对多尺度特征的质量极为敏感；Transformer则通过自注意力机制实现全局建模，但在处理高分辨率医学图像时，其二次方的计算复杂度仍较为繁琐。近年来，状态空间模型能够以线性计算复杂度实现长序列建模，为平衡效率与感受野大小提供了新思路。然而，现有的基于SSM的配准研究通常仅将其视为特征提取工具，忽视了两个关键问题：如何在变形过程中保留局部方向结构，以及如何在解码阶段明确引导特征交互，以在大范围变形下保持拓扑一致性。为解决这些问题，我们提出了一种双分支U形金字塔形配准网络，将Transformer模型与状态空间模型相结合。该方法旨在在大范围非刚性变形情况下，更好地平衡局部细节保留与全局结构理解，同时提升各向异性局部变形和长距离上下文交互的建模能力。在公共脑部和心脏数据集上的实验结果表明，所提出的方法相较于其他配准方法，具有更高的Dice分数和更低的HD95值。本研究的主要贡献如下：(1) 我们提出了一种双分支U形金字塔形配准网络，采用从粗到细的变形估计策略，逐步优化变形场，提升大范围变形区域的建模能力。(2) 我们设计了方向感知型深度可分离卷积模块和可变形多头自注意力模块，用于在复杂非刚性变形条件下建模各向异性局部变形模式及长距离解剖结构对应关系，从而实现多尺度特征提取。(3) 我们引入了基于状态空间模型的引导解码模块，以促进长距离上下文交互，确保解码过程中的变形连续性。相关内容概述 医学图像配准中的基于CNN的方法 传统的图像配准方法通常存在精度和效率不足的问题。随着深度学习的发展，基于卷积神经网络的端到端配准框架取得了显著进展。VoxelMorph[3]提出了一种基于U-Net架构的无监督框架，用于高效预测变形场。LKUNet[4]则通过使用大核卷积扩大感受野，以降低局部配准误差。然而，配准网络框架 所提出的配准网络的总体架构如图1所示。我们提出了一种端到端的双分支U形配准网络，它主要由基于Transformer架构的共享权重双分支特征提取编码器，以及基于状态空间模型的解码器组成。编码器与解码器通过跳接连接，以实现多尺度特征融合。首先，输入一对单通道移动图像Im和固定图像If。数据集 我们选择了公开可用的OASIS-1和ACDC医学图像数据集，用以评估我们的模型在处理大范围变形配准任务时的性能。OASIS-1数据集包含了18至96岁健康个体和阿尔茨海默病患者的脑部MRI扫描图像。由于受试者之间的脑部解剖结构存在显著差异，包括形状、体积和局部细节等方面的不同，该数据集非常适合用于验证跨受试者场景下的配准效果。结论 本研究提出了一种双分支U形金字塔形配准网络DDVMM，旨在提升在存在大范围变形和复杂解剖结构场景下的医学图像配准性能。该网络采用了方向深度卷积模块和可变形多头自注意力模块，用于捕捉多尺度结构特征和空间关系，同时还利用基于状态空间模型的解码器来增强特征对齐和结构优化。CRediT作者贡献说明 邹茂阳：写作——审阅与编辑、指导、资源提供、项目管理、方法设计、资金获取、正式分析、概念构思。吴玉兰：写作——初稿撰写、验证、软件开发、方法设计、研究实施、数据整理。陈军：写作——审阅与编辑、可视化处理、研究实施、数据整理。刘强：写作——审阅与编辑、资源提供、数据整理。代码获取地址：https://github.com/wyl32123/DDVMM。资助情况 本研究部分得到了中国四川省自然科学基金一般项目的支持，项目编号为2023NSFSC0482。此外，该研究还得到了四川省高级密码学与系统安全重点实验室开放基金的资助（项目编号：SKLACSS-202608）。伦理声明 本研究使用了公开且已完全匿名化的数据集，即OASIS-1数据集（https://sites.wustl.edu/oasisbrains/home/oasis-1/）和ACDC数据集（https://www.creatis.insa-lyon.fr/Challenge/acdc/databases.html）。这两个数据集都是在获得原始研究者的适当伦理审批和知情同意后收集的。由于本研究没有涉及新的人类或动物数据收集，因此无需额外的伦理审批。利益冲突声明 作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：有相关专利申请中。如果有其他作者，他们声明自己不存在任何可能影响本文所述工作的已知财务利益或个人关系。