一种用于医学高光谱异常检测的自监督视觉自回归框架

《Engineering Applications of Artificial Intelligence》：A self-supervised visual auto-regressive framework for medical hyperspectral anomaly detection

医疗高光谱异常检测研究提出基于自监督视觉自动回归的VarMHAD方法，通过多尺度生成范式、图卷积网络优化光谱特征及多尺度融合模块，有效增强复杂生物组织背景重建与噪声抑制能力，实验验证其噪声鲁棒性和泛化性能优于现有方法。

　　

陈凌琴|徐金庄|江宇|詹志豪|杨晓丽|潘明忠|张成龙|徐学森|马晓鹏

中国科学院杭州高等研究院，中国浙江省杭州市310024

摘要

医学高光谱成像能够无创地获取组织的空间-光谱信息，为早期诊断、实时治疗和精准治疗提供了可能性。然而，复杂的组织特性以及对标记数据的依赖性给病变识别带来了挑战。高光谱异常检测因其无监督能力和对异常的敏感性而被广泛使用，有望在无需标记的情况下识别未知病变。然而，当前的高光谱异常检测方法在医学高光谱图像中的表现往往不佳，这主要是由于与生物组织结构的不对齐、光谱特征利用不足以及噪声敏感性强。因此，我们提出了一种基于视觉自回归建模的自监督框架用于医学高光谱异常检测。我们首次引入了视觉自回归建模的多尺度生成范式，以适应生物组织的结构。其次，我们使用图卷积网络来优化光谱特征。多尺度融合模块提高了特征整合和鲁棒性。最后，增强的分离训练通过空间上下文细化了重建结果。我们的方法有效利用了光谱-空间特征，实现了鲁棒的背景重建和准确的异常检测。在医学高光谱成像数据集上的实验表明，该方法优于现有方法，具有很强的噪声鲁棒性和泛化能力，显示出较高的临床潜力。

引言

高光谱成像（HSI）技术通过捕获数百个连续的窄光谱带形成三维数据立方体，其中包含丰富的空间和光谱信息（Su等人，2021年；Kumar和Kumar，2021年；Zhang等人，2025年）。这些丰富的光谱信息使得能够区分各种物体，支持军事侦察（Liu等人，2025年；Zhao等人，2025年）、精准农业（Zhang等人，2024a年；Olisah等人，2024年）、资源勘探（Cui等人，2025年；Xue等人，2025年）和医学诊断（Hu等人，2022年）等应用。在现代医学中，HSI已成为一种强大的无创工具，为临床医生提供了详细的形态学和生化组织信息（Lu和Fei，2014年；Ravi等人，2017年；Zhao等人，2023年；Zhang等人，2024b年）。然而，复杂的组织特性和对标记数据的依赖性给病变识别带来了挑战。虽然模块化多智能体系统（Zhou等人，2025b年）和具有异常感知反馈的大型视觉-语言模型（Zhou等人，2025a年）在整合多种数据源和提高诊断准确性方面显示出潜力，但它们通常需要大量的标记数据，并且可能无法充分利用医学高光谱成像（MHSI）中的丰富光谱信息。

高光谱异常检测（HAD）是高光谱成像领域的一项关键技术。它能够不依赖先验信息来识别潜在目标（Rao等人，2022年；Xiang等人，2024年），并通过建模背景区域的共同光谱特征来自动区分异常。由于其无监督性质、对局部光谱变化的高敏感性以及仅使用健康组织光谱作为参考就能准确检测早期病理变化（如癌变组织）的能力，这项技术在临床应用中显示出巨大潜力。几十年来，出现了许多高光谱异常检测器（Liu等人，2025年），分为传统方法和基于深度学习的方法。传统方法难以处理复杂数据，并且未能充分利用HSI的潜在信息。虽然当前的深度学习模型利用强大的特征提取能力来重建背景区域，从而通过重建错误突出异常（Wang等人，2021年；Lian等人，2024年；Zhao等人，2026年），但它们主要应用于遥感高光谱图像，不适合医学数据集。

医学高光谱异常检测（MHAD）与其遥感对应方法相比面临不同的挑战。在遥感中，异常通常与自然背景有显著的光谱对比度。相比之下，MHSI捕捉的是组织内部的微妙生化和形态变化，其中正常区域和病理区域之间的光谱差异通常很小，并且会被组织异质性和个体生理变异所掩盖（Kotwal等人，2025年）。此外，生物组织具有复杂的多尺度异质结构，边界模糊（Tang等人，2025年），远超过遥感中常见的相对均匀背景。医学成像在采集条件不稳定的情况下也更容易受到多种噪声源的影响。因此，医学场景中较弱的光谱偏差、更复杂的结构背景和更高的噪声敏感性严重限制了大多数为遥感开发的异常检测器的性能，需要开发专门针对MHSI的异常检测方法。

最近，作为序列预测领域的一个强大范式，自回归（AR）建模在捕捉多尺度依赖性和生成复杂图像方面显示出显著潜力。鉴于MHSI的复杂结构特征，如细粒度细节和模糊边界，AR建模通过逐元素（Achiam等人，2023年）或逐块（Cao等人，2025年）的序列生成方式明确保留了空间上下文关系。这种方法能够学习特征之间高度复杂的、高维的相互依赖性，并准确估计像素属于“正常”背景的概率。因此，AR可以在MHSI中实现更精确的背景重建并有效抑制噪声干扰。但是，将HSI仅仅视为序列或块进行预测缺乏对多尺度层次图像结构的建模，这与生物组织的特征不完全匹配。这一缺点限制了对大规模异常或弥漫性病变的检测能力。

因此，本研究旨在引入一种更符合生物组织特征的MHAD方法，并充分利用HSI中的光谱-空间信息。具体来说，该方法提出了一种基于视觉自回归（VAR）建模的自监督医学高光谱异常检测（VarMHAD）。VarMHAD将HAD任务构建为一个逐尺度预测过程，这一方法受到了VAR建模成功的启发（Tian等人，2024年），VAR建模是一种以全局建模能力著称的新图像生成范式。这种构建方式类似于医学图像解释中常用的分层观察策略，临床医生在仔细检查局部病理细节之前首先评估整体组织结构。通过从低分辨率结构上下文逐步细化到高分辨率细粒度特征，该框架有效地模拟了医学高光谱图像中固有的层次结构。该方法结合了GCN（多尺度特征融合模块）和VAR建模以实现准确的背景重建，并采用增强的分离训练进一步抑制异常区域的重建。VarMHAD有效地捕获了MHSI中的丰富光谱-空间信息，表现出对不同异常形态的强泛化能力和出色的噪声鲁棒性。

总之，本研究的主要贡献如下：

• 1.
  我们提出了VarMHAD，这是一种基于VAR的新颖自监督框架，专为MHAD设计。我们首次引入了VAR建模的多尺度生成范式。与传统依赖于光栅扫描的逐像素或逐块序列预测的AR模型不同，我们的粗到细的逐尺度预测更好地捕捉了生物组织的整体到局部的层次依赖性，从而实现了对复杂生物结构和多种病变形态的更鲁棒重建。
• 2.
  我们结合了GCN从输入的HSI中提取光谱特征，并在重建过程中优化了重建输出的光谱特性。该网络有效利用了MHSI中丰富的光谱-空间信息，从而提高了背景重建的质量。
• 3.
  我们设计了一个多尺度融合模块，该模块处理通道组并采用了循环移位机制。通过增强多尺度表示，该模块实现了更鲁棒的背景重建，显著提高了对各种类型异常的泛化能力和抗噪声能力。
• 4.
  广泛的实验表明，VarMHAD在检测各种病理形态方面表现出卓越的性能。这些结果表明，该框架具有很强的泛化能力和噪声鲁棒性，突显了其在临床高光谱成像应用中的巨大潜力。

本文的其余部分结构如下：第2节回顾相关工作；第3节详细说明方法设计；第4节展示实验结果和比较分析；第5节讨论局限性和未来方向；第6节总结本文。代码将在https://github.com/PH-will/VarMHAD公开。

相关工作

相关工作

在本节中，我们全面概述了HAD和VAR建模的发展历史。

总体架构

我们的方法采用自监督范式。考虑到HSI的光谱特性，我们在输入和输出阶段都使用了GCN来优化光谱特征，构建了一个适合MHSI的VAR模型以改进重建精度，并设计了一个多尺度特征融合模块来增强模型忽略异常重建的能力并提高跨数据集的鲁棒性。图1展示了所提出方法的总体结构。

提供

数据集

我们使用了两种类型的MHSI数据集来验证我们方法在医学场景中的有效性和泛化能力。

(1) MHSI1数据集：这些MHSI脑癌数据集来自欧洲的“HypErspectraL Imaging Cancer Detection (HELICoiD)”项目，由拉斯帕尔马斯德格兰卡纳里亚大学（西班牙）使用HeadWall Photonics Hyperspec VNIR A系列相机收集，覆盖400–1000纳米范围，具有826个光谱通道（Fabelo等人，2019年）。我们裁剪了包含肿瘤的图像块

局限性和未来工作

尽管VarMHAD表现出了良好的性能，但它仍有一些需要进一步研究的局限性。首先，VAR过程和双GCN层增加了计算开销，这可能对临床环境中的实时应用构成挑战。未来的工作可以专注于模型轻量化，例如知识蒸馏或高效的变换器设计。其次，尽管该方法总体上具有鲁棒性，但在复杂背景下的极高噪声水平下性能会下降

结论

在本文中，我们提出了VarMHAD，这是一种用于医学高光谱异常检测的自监督VAR框架。该方法旨在解决MHSI中复杂组织结构、微妙的光谱差异和高噪声敏感性等挑战。通过整合多尺度VAR建模、GCN和一种新的多尺度特征融合模块，VarMHAD能够有效重建背景组织的同时抑制异常。在MHSI1数据集上的广泛实验表明，VarMHAD

CRediT作者贡献声明

陈凌琴：撰写——原始草稿、可视化、验证、监督、软件、方法论、调查、数据管理。徐金庄：撰写——审阅与编辑、验证、软件、方法论、调查、数据管理。江宇：软件、方法论、调查。詹志豪：撰写——原始草稿、可视化、软件。杨晓丽：资源获取、资金筹集。潘明忠：撰写——审阅与编辑、监督、项目管理、调查、资金

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

这项工作部分得到了国家重点研发计划（项目编号：2023YFF0715102）、国家自然科学基金（项目编号：82227802）、山东省重点研发计划（项目编号：2022CXGC010501）和泰山产业专家计划的支持。