基于熵权决策融合的肺癌多模态辅助诊断

《BioMedical Engineering OnLine》：Lung cancer multimodal auxiliary diagnosis based on entropy weight decision fusion

　　

摘要

背景

肺癌是全球范围内最致命的恶性肿瘤之一，其传统诊断方法存在较强的主观性、较高的误诊率以及医疗资源分配不均的问题。为解决单纯将CT图像与临床文本拼接所带来的特征对齐不佳问题，本文提出了一种基于熵权决策融合的肺癌多模态辅助诊断模型。

方法

这项回顾性队列研究在2020年至2025年间纳入了5847名参与者，其中包括1823例肺癌病例、2253例正常对照组以及1771例肺结节对照组。研究对所有CT图像及其对应的报告进行了分析，并通过从原始数据集中随机抽样建立了三个子数据集。该研究分别采用视觉变换器（ViT）和变压器的双向编码器表示（BERT）作为图像和文本的特征提取器，从而从肺部CT图像及CT影像报告中提取高维语义特征。随后，研究构建了基于多层感知器（MLP）的独立分类器，将不同模态的嵌入向量转换为预测概率分布（Logits）。最后，运用熵权方法对图像和文本的决策结果进行自适应融合。模型性能评估指标包括接收者操作特征曲线下面积（AUC）、准确率、精确度、召回率以及F1分数。

结果

本研究提出的方法能够充分利用CT图像与影像文本多模态数据之间的互补信息。在临床数据集上，该模型的准确率为0.9375，精确度为0.9324，召回率为0.9322，F1分数也为0.9322，显著提升了诊断性能。

结论

本研究证实，在真实的肺癌数据集上，多模态数据决策融合在诊断准确率、精确度和召回率方面均优于单模态模型及常见的融合方法。该成果为肺结节和肺癌的早期辅助诊断提供了潜在参考，同时也为后续的临床应用奠定了基础。

图形摘要

此图片的替代文本可能是由人工智能生成的。