LTM-UNet：基于注意力的U-Net中线性Transformer-Mamba用于上下文感知的乳腺超声图像分割

《Diagnostics》：LTM-UNet: Linear Transformer–Mamba with Attention-Based U-Net for Context-Aware Breast Ultrasound Image Segmentation

　　

背景/目的：使用深度学习模型进行准确的乳腺病变分割需要精确理解全局上下文相关性和更精细的病变结构细节，这仍然是现有卷积和基于Transformer（Transformer）的方法面临的挑战。本研究旨在通过提出一种新的分割模型来解决这些局限性，该模型能够改进超声图像的上下文感知密集分割任务。方法：研究人员提出LTM-UNet，一种新颖的分割方法，在U-Net风格框架中集成基于Transformer的编码与状态空间驱动（state-space-driven）的解码。该架构利用高效的视觉Transformer（vision transformer, ViT）编码器提取多尺度全局表示。这些特征通过注意力引导的跳跃融合（attention-guided skip-fusion）机制进行细化，该机制结合空间-通道注意力（spatial-channel attention）保留更精细的空间细节，从而最小化编码器和解码器特征之间的语义差距。此外，引入基于状态空间模型（state-space model, SSM）的定向感知解码器，以有效捕获长距离依赖性并增强相关特征重建。结果：在基准超声医学成像数据集上的大量实验证明了所提出方法的有效性。该模型在BUSI数据集上达到82.41%的dice-score系数（DSC），在数据集B（UDIAT）上达到86.62%的dice-score系数（DSC），在dice-score系数（DSC）和Intersection-over-Union（IoU）指标上优于几种现有的分割方法。结论：高效的基于Transformer的全局特征提取、注意力增强的特征融合和状态空间驱动解码的集成使LTM-UNet能够有效捕获结构细节和上下文信息，从而与现有方法相比实现优异的分割性能。

**论文解读：LTM-UNet——融合线性Transformer与Mamba的上下文感知乳腺超声图像分割**

**研究背景与问题**

乳腺癌是女性主要致死原因之一，早期准确检测对改善预后至关重要。乳腺超声因其无创、低成本及实时成像优势，在临床筛查中得到广泛应用。然而，超声图像固有的斑点噪声、病灶形状多变及边界模糊等问题，使得从图像中精确分割病变区域极具挑战。传统基于强度与梯度的手工特征方法无法应对高阶模式，而纯卷积神经网络（CNN）虽能捕捉局部细节，却缺乏全局上下文建模能力。基于Transformer的方法通过自注意力机制可建模长距离依赖，但计算复杂度随序列长度呈二次增长，且分块令牌化易丢失精细空间信息。近年来，状态空间模型（State-Space Model, SSM）如Mamba凭借线性复杂度的全局建模优势崭露头角，但其局部细节与边界敏感性不足。现有方法各有短板：CNN局部强但全局弱，Transformer全局强但计算成本高且局部敏感度低，SSM全局高效但缺乏精细局部融合。为此，研究人员提出一种融合三者优势的混合框架，以平衡全局与局部特征表示。

**研究内容与意义**

研究人员构建了LTM-UNet，该架构将线性Transformer编码器、注意力引导跳跃融合机制与状态空间模型（SSM）解码器集成于U-Net骨架中。通过线性Transformer高效实现全局语义提取，借助注意力增强的跳跃连接弥合编码器与解码器特征间的语义鸿沟，并利用SSM解码器以线性代价捕获长距离空间依赖。在BUSI（780张图像）和UDIAT（163张图像）两个公开乳腺超声数据集上的实验表明，LTM-UNet在Dice系数（DSC）与交并比（IoU）指标上均优于包括Asym-UNet、CSAU-Net、TransUNet在内的多种现有方法，同时保持较低的参数量与推理时间。该工作为构建高效、平衡的混合分割模型提供了坚实基础，论文发表在《Diagnostics》期刊。

**关键技术方法**

主要技术方法包括：
1. **线性Transformer编码器**：采用门控指数线性注意力（gated exponential linear attention），计算复杂度与序列长度呈线性关系；通过深度可分离卷积实现局部位置增强与令牌混合，弥补分块丢失的空间信息。
2. **注意力引导跳跃融合**：基于空间-通道注意力（Spatial-Channel Attention, SCA）模块，在融合前对编码器特征进行通道和空间维度的自适应重标定，抑制噪声并突出边界线索，再经残差细化层保持原始特征分布。
3. **SSM解码器**：基于选择性的方向扫描状态空间模型（directional selective SSM），将空间特征图沿水平与垂直方向分别处理以捕捉行、列依赖，结合前馈网络与残差连接实现高效长距离建模。
4. **复合损失函数**：融合Dice损失（L_Dice）、加权二元交叉熵损失（L_BCE）与基于Sobel算子的边界感知损失（L_B），联合优化区域重叠、像素分类与边界一致性。
样本队列来源包括两个公开数据集：BUSI数据集（600名女性患者共780张图像，含良性、恶性及正常三类）和数据集B（UDIAT）（163张图像，含110例良性、53例恶性病变），图像均重采样至256×256像素。

**研究结果**

**5.1 消融实验**
- **5.1.1 架构影响**：在UDIAT数据集上，逐步替换组件（基线U-Net→TransUNet→TransSSMNet→LTSSMNet→LTM-UNet），DSC从72.73%提升至86.62%，IoU从62.70%提升至80.42%，证明线性Transformer编码器、SSM解码器及注意力跳跃融合的逐层贡献。
- **5.1.2 复合损失函数影响**：在BUSI上比较不同损失设置，单用Dice损失得DSC 77.61%，单用交叉熵得75.9%，两者混合升至80.7%，加入边界损失后达最优82.41% DSC，表明边界监督可改善边缘精度。
- **5.1.3 注意力引导跳跃融合影响**：比较直接拼接、仅通道注意、仅空间注意与所提SCA融合，SCA组合在DSC和IoU上显著优于基线，证实双重统计再标定的有效性。
- **5.1.4 数据增强影响**：在UDIAT上，无增强、仅几何、仅强度与超声专用增强对比，超声专用策略（水平翻转、轻度平移/旋转、亮度/对比度扰动）获得最高DSC和IoU，有效缓解过拟合。

**5.2 模型训练结果**：BUSI与UDIAT的训练曲线显示损失快速下降并稳定，训练与验证曲线接近，无明显过拟合；DSC和IoU持续上升并收敛，表明模型稳定学习全局与局部特征。

**5.3 过拟合预防与泛化**：采用五折交叉验证、超声导向数据增强、嵌入局部归纳偏置的线性Transformer编码器以及复合损失的多目标正则化，验证损失紧密跟随训练损失，DSC和IoU曲线包间差距小，证实模型泛化良好。

**5.4 与现有方法比较**：在五折交叉验证下，LTM-UNet在BUSI上平均DSC达81.38%，在UDIAT上达85.37%，均优于Asym-UNet、CSAU-Net、TransUNet、SSFormer等；同时达到最高精度（PR）89.63%（BUSI）和92.56%（UDIAT），特异性（SP）分别为99.45%和98.36%，平衡了精确率与召回率。

**5.5 模型复杂度**：LTM-UNet参数量23.72M，FLOPs仅15.96G，推理时间13.77 ms（NVIDIA RTX A4000），远低于Att-UNet（72.81G FLOPs, 37.17 ms）和TransUNet（105.32M参数量），兼顾高效与性能。

**5.6 模型泛化**：跨域测试（BUSI训练→UDIAT测试）得DSC 82.13%，IoU 75.07%；反向测试（UDIAT训练→BUSI测试）得DSC 72.30%，IoU 67.04%，表明模型具备一定跨域能力，但受数据集分布差异影响。

**5.7 局限性**：当前实验局限于特定条件获取的公共数据集，缺乏多中心、多设备验证；图像级划分未能保证患者级独立，可能导致性能估计偏乐观。未来需进行跨机构评估及患者级划分。

**讨论与结论**

本研究提出的LTM-UNet框架通过整合高效Transformer全局上下文建模、状态空间学习与注意力增强跳跃连接，克服了传统CNN全局视野有限、视觉基础模型计算成本高以及SSM局部敏感性不足的问题，实现了对局部与长距离依赖的均衡高效表示。在BUSI和UDIAT数据集上的实证结果显示，LTM-UNet在IoU、DSC、精确率（PR）和召回率（RC）上均优于多种现有方法，并生成清晰边界，保持有利的精确率-召回率权衡，证明了其在乳腺超声图像分割中的价值。该框架为混合分割模型提供了坚实基础，其模块化特性为推进智能、高效的医学图像分析开辟了多个方向。