基于高光谱图像序列的弱运动目标检测

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Dim moving target detection with hyperspectral image sequences

　　徐赫|魏安|王英倩|郭高伟|罗一航|凌强|周世林 中国重庆信息支援部队工程大学，400035 摘要 高光谱图像序列中的弱运动目标检测旨在识别那些与背景对比度较低、尺寸较小的异常运动目标，这一技术在各类遥感摄影和测量应用中备受关注。近年来，由于Mamba模型具有出色的非局部表示能力和线性复杂度特性，基于该模型的方法逐渐受到重视。本研究将Mamba模型引入高光谱图像序列的弱运动目标检测任务中，提出了TSSFMamba模型。该模型采用了兼顾轻量化和高精度的检测架构，用于弱运动目标检测。所提出的方法包含三个关键组成部分：（1）在多尺度背景重建学习方面，我们设计了空间-光谱-时间Mamba模块以及时间-空间-光谱解耦卷积模块，以实现长距离非局部特征融合和轻量级局部特征增强；（2）为在背景重建过程中有效抑制异常信号，我们设计了Haar离散小波变换卷积模块，该模块能够精准捕捉目标与背景之间的频谱差异，从而显著提升检测精度；（3）为减少复杂背景干扰导致的误报，我们开发了运动一致性光流估计模块，该模块可模拟运动目标与静止背景之间的运动差异，进而提高检测可靠性。在真实场景和模拟高光谱图像序列的各种弱运动目标检测数据集上进行的广泛实验表明，TSSFMamba模型在保持最低参数量和最短运行时间的同时，实现了最优的检测精度，充分证明了其在性能和效率方面的优势。相关代码已公开发布在http://github.com/Brpinenuts/TSSFMamba。引言 高光谱遥感成像技术在地球观测领域越来越受到重视，已被广泛应用于资源勘探、精准农业以及军事救援等诸多军民领域（Plaza等人，2009；Ma等人，2025；Su等人，2020；Chen等人，2025；Chen等人，2024；Zhao等人，2016；Li等人，2025a；Shimoni等人，2019；Makki等人，2017；Jha等人，2022）。通过高光谱传感器扫描视野内的场景，可在每个光谱窄带处生成一幅2D几何图像，随后将这些窄带图像拼接起来，即可形成三维高光谱图像数据体（Paoletti等人，2019；Su等人，2021）。在高光谱图像数据体中，光谱分辨率可达到纳米级别，这使得诸多遥感解译工作成为可能，例如识别和检测那些在光学或红外遥感图像中难以准确识别的不同材质地面物体（Schweizer和Moura，2000）。在这些研究方向中，高光谱异常检测技术因其在无需额外手动标注和监督标签的情况下即可精准定位高光谱图像中的目标对象，而被视为一项极具实用价值的技术，并被广泛应用于各类军民领域（Stein等人，2002）。这一技术的研发主要源于数据稀缺和标注成本过高的问题。实际上，高光谱图像中的异常目标表现为极少数的像素，这些像素与背景像素相比存在显著的光谱差异（Tao等人，2020）。与自然图像中常用的基于边界框的目标检测方法不同，后者通过不同大小、宽高比和旋转角度的边界框来表示目标，而高光谱异常检测则是依据像素或亚像素级的光谱特征来区分目标区域与背景。这种结合了空间-光谱信息的精细检测方式，使得高光谱异常检测技术在各类遥感及地球观测任务中发挥着越来越重要的作用（Bioucas-Dias等人，2013；Hong等人，2024）。然而，现有的高光谱异常检测方法都致力于在单幅图像中精准检测目标。如图1所示，随着成像技术从单帧逐步发展到多帧，利用四维时空光谱数据体的高光谱图像序列中的运动目标检测技术逐渐成为新的研究热点。实际上，高光谱图像序列中的弱运动目标检测任务也面临着诸多长期存在的难题。一方面，由于目标与传感器之间的传输距离较长，运动目标在高光谱图像中对应的像素数量通常仅有十几个，因此这类目标所含的区分特征极为有限，很容易被复杂的背景噪声和干扰所掩盖，从而导致信噪比极低。另一方面，由于高光谱图像数据体具有较高的维度，要利用统一的学习框架同时获取背景和目标在时空光谱维度上的综合分布特征仍是一项艰巨的任务，这也就对检测模型的稳健性和效率提出了更高要求。据我们所知，已有许多研究从不同角度尝试解决这些难题。目前，针对高光谱图像序列中的弱运动目标检测问题，主要有两种主流解决方案：一种是基于单幅图像的高光谱异常检测模式，逐帧检测目标；另一种则是充分利用多帧高光谱图像的时间历史特征。首先，单幅图像高光谱异常检测算法已经发展多年，一直是研究热点。根据用于区分目标与背景的核心机制，当前的高光谱异常检测方法可分为三类：（1）基于统计分布的模型（Zhao等人，2014；Molero等人，2013；Reed和Yu，1990；Liu等人，2021；Liu等人，2018；Kwon和Nasrabadi，2005；Ren等人，2019；Matteoli等人，2013；Zhou等人，2016；Guo等人，2014；Tu等人，2020a；Tu等人，2020b；Chang，2021；Chang，2022b；Tao等人，2019）；（2）基于数据表示的模型（Li等人，2015；Li和Du，2014；Ling等人，2018；Zhu和Wen，2018；Vafadar和Ghassemian，2018；Hou等人，2022；Chang和Ghamisi，2022；Xu等人，2015；Li等人，2020a；Wang等人，2020；Zhang和Wen，2017；He等人，2023；Feng等人，2023；Cheng和Wang，2019；Guo等人，2023；Li等人，2020b）；（3）基于深度神经网络的模型（Ma等人，2024；Li等人，2022；Ma等人，2023；Jiang等人，2021a；Li等人，2021；Jiang等人，2021c；Li等人，2023；Jiang等人，2021b；Wang等人，2021；Liu等人，2022；Xiang等人，2022；Fu等人，2021；He等人，2024b；Lian等人，2024；Wu等人，2024；Liu等人，2024a；Wang等人，2023；Liu等人，2025a；Fu等人，2025）。基于统计分布的模型认为背景遵循某种特定的统计分布规律，那些不符合该分布规律的异常像素即可被视为异常成分（Liu等人，2021）。然而，不同拍摄场景下高光谱图像的背景分布存在显著差异，因此将模型限制在某种单一的背景统计分布模式下，会降低其通用性和适用性。基于数据表示的模型主要包含两种表示异常与背景的方式：第一种假设认为每个背景像素都可以用某些基础信号来表示，比如背景词典，但异常像素则无法用此类方式表示（Li等人，2015）；第二种方法则借助矩阵或张量分解模型，其理论依据是异常目标通常具有空间稀疏性，而背景在高光谱图像中则始终呈现低秩特性（Xu等人，2015）。不过，基于数据表示的模型通常需要多次耗时的迭代才能得到最优解，而且还会引入大量超参数，这些参数往往需要依靠实际经验进行人工调整，从而导致模型性能不稳定。凭借强大的特征提取和建模能力，基于深度神经网络的模型逐渐发展起来，并成为高光谱异常检测领域的主流技术。与其他方法不同，基于深度神经网络的模型无需依赖先验的数据分布知识，也无需进行繁琐的参数调整。实际上，这类模型会将高光谱异常检测问题转化为基于重建的自监督代理任务，在该任务中，背景可以被精确重建，而异常目标则会被以较大的重建误差被抑制。换句话说，重建后的高光谱图像与原始图像之间的重建误差可被视为异常程度的指标。然而，在单幅图像的高光谱异常检测算法中，主要利用的是光谱和空间信息，而时间域的上下文信息很少被用到。要在充满杂质的背景下检测信噪比较低的移动目标，时间信息同样至关重要。目前，那些利用多帧高光谱图像序列的弱运动目标检测方法仍停留在传统高光谱异常检测算法的时间域增强版本上。更具体地说，这类模型总是采用逐步增强异常检测策略的方式，例如，可以在完成空间或光谱异常检测之后，通过时间方差滤波技术得到反映每个像素时间特征的异常时间图。然而，这些用于弱运动目标检测的多帧检测算法仍然依赖于传统的高光谱异常检测模型，这类模型需要大量的人工参数调整，且无法提取背景和目标在时空光谱维度上的综合分布特征。在本文中，我们提出了一种将深度学习架构引入弱运动目标检测任务的创新思路，构建了一个开创性的网络框架，为该领域的后续研究提供了新的方向。首先，就核心特征提取方法而言，现有的基于深度神经网络的检测方案主要包括基于卷积神经网络的模型和基于视觉Transformer的模型。基于卷积神经网络的模型能够利用其强大的特征提取能力来推进背景的重建工作。然而，如图2(a)所示，基于卷积神经网络的检测器虽然擅长提取局部特征信息，但由于受限于局部的感受野范围，难以捕捉非局部依赖关系。相比之下，基于视觉Transformer的检测器由于具备内在的自注意力机制，能够提取全局的上下文关联，如图2(b)所示。不过，Transformer的计算复杂度随自注意力计算次数的增加而呈二次方增长，因此当嵌入标记的数量增多时，会导致严重的计算负担。近期，由于近似线性结构的优势，结构化状态空间模型逐渐兴起，并在长序列建模领域引起了广泛关注。值得注意的是，基于结构化状态空间模型，图2(c)中的Mamba模型在状态空间模型中加入了选择性扫描机制，使得结构化状态空间模型能够有选择地关注或忽略特定输入，从而实现符合当前标记的智能信息过滤和内容感知推理。考虑到高光谱图像序列中序列化高维数据的内在分布特征，Mamba模型在高效建模全局长时间域上下文依赖关系方面展现出巨大潜力。受上述观点的启发，我们提出了将Mamba模型引入弱运动目标检测领域的新思路，进而提出了名为TSSFMamba的时空光谱融合Mamba模型。具体而言，如图3所示，由于高光谱图像序列中的数据体实际上具有四维时空光谱分布特征，因此Mamba模型应当发展为更高维度的版本，具备捕捉背景和目标的全局空间-光谱-时间特征的能力。基于此，我们设计了空间-光谱-时间Mamba模块，借助视觉结构化状态空间模型强大的全局上下文特征提取能力，用于扫描并融合长时间域中的综合空间-光谱-时间分布特征（Liu等人，2024b）。具体来说，通过精心设计的轻量级时间与空间-光谱解耦卷积结构，我们还引入了时空光谱解耦卷积模块，用于获取短时间域内的局部空间-光谱-时间特征。接下来，我们将核心的时空光谱融合Mamba模块和时空光谱解耦卷积模块整合到多尺度编解码器网络架构中，构建了一个高光谱图像序列重建框架，该框架能够根据原始高光谱图像与重建后图像之间的残差误差，来重建纯净的背景并检测出目标物体。为避免在背景重建过程中出现异常目标的污染问题，我们还在跳连结构中引入了Haar离散小波变换卷积模块，以此充分补充具有高频响应的目标区域与具有低频响应的背景区域之间的差异性频率特征。此外，为抑制那些与运动目标具有相似时空谱特性的背景杂波，我们设计了基于运动一致性光流估计的模块，用于刻画运动目标与背景杂波之间的运动差异，从而有效消除检测模型产生的误报。本研究的主要贡献如下：•本文提出了一种新型的TSSFMamba检测框架，该框架具有高检测精度和低计算复杂度，适用于高光谱图像序列中的弱运动目标检测任务，它将基于Mamba的非局部时空谱特征融合技术与基于卷积的轻量级局部特征增强技术整合到了多尺度编解码器重建架构之中。•设计了一种Haar离散小波变换卷积方案，用于明确捕捉目标与背景之间的差异性频率特征，从而在背景重建过程中实现有效的异常抑制，并提升检测精度。•开发了一种基于运动一致性光流估计的机制，用于描述运动目标与背景杂波之间的运动差异，进而减少由复杂背景杂波引发的误报。•通过在多个真实场景及模拟的高光谱图像序列弱运动目标检测数据集上的大量实验验证，所提方法达到了当前最优的检测精度与效率。本文的其余结构如下：第一节阐述研究动机，第二节介绍相关研究工作，第三节详细介绍所提出的TSSFMamba框架，第四节展示实验结果，最后在第五节进行讨论，在第六节得出结论。

相关研究
本节首先简要回顾高光谱图像序列中弱运动目标检测的相关研究，包括单帧检测方法以及多帧检测方法，随后介绍状态空间模型相关的背景知识。

所提方法
本节首先介绍Mamba框架的基本概念，包括SSM模型、离散化处理以及选择性扫描机制，继而详细阐述所提出的TSSFMamba框架的总体架构及各模块的设计思路。

实验平台
在本研究中，我们在六个真实的高光谱图像序列数据集以及三个模拟数据集上进行了大量实验，以验证TSSFMamba框架在弱运动目标检测任务中的有效性与稳定性。所有实验均在配备Python环境、Linux操作系统、Intel(R) Core(TM) i7-9750H CPU@2.60 GHz处理器、16GB内存，以及两块拥有24GB显存、可用于加速计算的NVIDIA 3090显卡的工作站上完成。此外，TSSFMamba框架的训练与测试也在Linux系统上进行。

讨论
所提出的TSSFMamba框架代表了将基于深度学习的多帧检测技术应用于高光谱图像序列弱运动目标检测领域的开创性尝试。虽然第四节中的实验结果已证明了其出色的性能，但本节将进一步分析该框架的贡献、其在现有研究中的定位、设计选择所带来的影响及其局限性，从而为评估其创新性与实际应用价值提供重要参考。

结论
在本研究中，我们提出了TSSFMamba这一用于高光谱图像序列中弱运动目标检测的检测框架。具体而言，我们将基于Mamba的非局部时空谱特征融合技术与基于卷积的局部特征增强技术整合到了一个轻量级的多尺度编解码器重建架构中，从而在保持低计算成本的同时实现了高检测精度。此外，我们还设计了一种Haar离散小波变换卷积方案，用以……

作者贡献说明
徐赫：论文初稿撰写。安伟：方法论设计。王英谦：论文审阅与编辑。郭高伟：数据整理。罗一航：实验研究。凌强：项目指导。周世林：项目管理。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。