《Scientific Reports》：Multimodal deep feature fusion with transformer for brain tumor classification from magnetic resonance imaging
编辑推荐：
本研究聚焦脑肿瘤（BT）早期诊断难题，提出多模态深度学习特征融合框架（MDFF-ABTDS）。团队整合CapsNet、ResNet-50与AlexNet提取多源特征，结合双向卷积长短期记忆网络与Transformer（TBConvL-Net）进行分类，并采用nnUNet实现病灶精准分割。经MRI数据集验证，模型准确率达98.91%，显著提升BT检测精度，为临床诊疗提供可靠AI辅助工具。
在全球范围内，脑肿瘤（Brain Tumor, BT）因其异常细胞增殖特性，始终是高死亡率疾病之一。每年，无数家庭因未能及时察觉颅内病变而陷入困境——毕竟，大脑作为人体最精密的“指挥中心”，其内部结构错综复杂，病灶往往隐匿难辨。传统的诊断依赖医生肉眼判读磁共振成像（Magnetic Resonance Imaging, MRI）切片，不仅耗时费力，更易受主观经验影响，微小病灶可能被遗漏，最终延误最佳治疗时机。如何让机器像人类专家一样“读懂”MRI影像，精准锁定病灶位置，成为医学影像分析领域的核心挑战。近年来，深度学习（Deep Learning, DL）技术在计算机视觉任务中大放异彩，但在脑肿瘤检测与分割中，单一模型的特征捕捉能力有限，多模态信息的协同利用仍有巨大潜力亟待挖掘。这便是本研究的出发点：构建一个能够融合多维度特征、模拟医生综合判断逻辑的智能系统，让每一次诊断都更加精准可靠。
针对这一需求，研究团队在《Scientific Reports》发表了题为“Multimodal deep feature fusion with transformer for brain tumor classification from magnetic resonance imaging”的论文，提出一种名为“多模态深度特征融合自动化脑肿瘤检测与分割框架”（Multimodal Deep Feature Fusion Framework for Automated Brain Tumor Detection and Segmentation, MDFF-ABTDS）。该系统巧妙串联了预处理、多模型特征提取、Transformer增强分类与nnUNet精细分割四大模块，最终在脑肿瘤MRI数据集上实现了98.91%的分类准确率，显著超越现有主流方法。这一成果不仅是算法设计的突破，更为临床辅助诊断提供了可落地的工具，有望将医生从繁重的影像筛查中解放出来，把更多精力投入治疗方案制定。
关键技术方面，研究首先对原始MRI图像进行对比度受限自适应直方图均衡化（Contrast Limited Adaptive Histogram Equalization, CLAHE）与标准化预处理以增强特征辨识度；随后并行使用CapsNet、ResNet-50和AlexNet三种架构提取互补的多模态深度特征；进而设计双向卷积长短期记忆网络与Transformer结合的TBConvL-Net模块进行肿瘤/非肿瘤分类；最终由nnUNet完成像素级病灶定位分割。所有实验均基于公开脑肿瘤MRI数据集开展。
图像预处理提升特征显著性
研究首先对比分析了原始MRI图像与经CLAHE处理后的效果。结果显示，预处理有效增强了肿瘤区域与正常组织的对比度，减少了噪声干扰，为后续深度特征提取奠定了清晰的数据基础。
多模态特征融合增强信息表征
团队分别采用CapsNet（擅长捕捉空间层次关系）、ResNet-50（深层残差结构提取抽象特征）与AlexNet（快速提取基础纹理）并行提取特征，并将三者输出融合。实验证明，融合后的特征向量兼具局部细节与全局语义信息，比单一模型更能全面描述肿瘤形态多样性。
TBConvL-Net分类性能优越
将融合特征输入TBConvL-Net后，模型通过双向卷积长短期记忆网络捕捉序列依赖，再经Transformer的自注意力机制聚焦关键区域。在肿瘤/非肿瘤二分类任务中，该方法准确率达到98.91%，精确率、召回率等指标均优于传统CNN及RNN模型，证实了时序建模与注意力机制的协同有效性。
nnUNet实现亚像素级分割
分类后的疑似肿瘤区域由nnUNet进一步处理。该模型通过自适应数据集的网络配置与高效的训练策略，成功实现了对肿瘤边界的亚像素级勾勒，分割结果与医生标注的金标准高度吻合，验证了其在复杂解剖结构中的鲁棒性。
端到端框架综合评估
最后，研究对整个MDFF-ABTDS流程进行了端到端测试。结果表明，从预处理到分割的全链路设计显著降低了假阳性率，在多中心、多扫描仪采集的异构数据上仍保持稳定性能，具备良好的临床泛化潜力。
综合来看，本研究提出的MDFF-ABTDS框架成功解决了脑肿瘤MRI影像中特征利用率低、小病灶漏检率高等痛点。通过多模态特征融合与Transformer的结合，系统不仅能高效区分肿瘤与非肿瘤组织，还能借助nnUNet实现精细化分割，为医生提供直观的病灶空间分布信息。这一成果不仅推动了医学影像分析技术的边界，更为未来构建实时术中导航、预后评估等智能诊疗场景奠定了基础，真正让AI成为医生的“第二双眼睛”。
