基于光谱-空间增强与全局上下文建模的跨域少样本高光谱图像分类网络（Cross-Domain Few-Shot Hyperspectral Image Classification Network via Spectral–Spatial Enhancement and Global Context Modeling）

《Electronics》：LGDAF-Net: A Lightweight CNN–Transformer Framework for Cross-Domain Few-Shot Hyperspectral Image Classification Guang Yang, Jiaoli Fang, Daming Zhu and Xiaoqing Zuo

　　

针对跨域少样本高光谱图像（HSI）分类中源域与目标域分布差异大、标注样本稀缺及传统卷积神经网络（CNN, Convolutional Neural Network）感受野有限导致难以捕获长距离空间依赖的问题，研究人员提出一种结合光谱-空间增强与全局上下文建模的端到端深度网络。该方法首先通过双分支光谱-空间注意力（SESA, Spectral–Spatial Attention）模块分别提取光谱维非线性响应与空间维纹理特征，并引入挤压-激励块（SE Block, Squeeze-and-Excitation Block）进行通道重标定；随后将二维特征图展平为序列输入轻量级全局上下文建模模块（GACM, Global-context Attention-based Context Modeling Module），利用多头自注意力（MHSA, Multi-Head Self-Attention）机制捕捉跨像素区域依赖关系；同时设计联合损失函数，由交叉熵损失（Cross-Entropy Loss, LCE）、核三元组损失（Kernel Triplet Loss, Lhard）与域对抗损失（Domain Adversarial Loss, Ldomain）组成，通过分阶段训练策略实现源域预训练与目标域微调。实验在公开HSI数据集上验证了所提方法较现有对比方法具有更优的分类精度与域适应能力。

论文解读：基于光谱-空间增强与全局上下文建模的跨域少样本高光谱图像分类网络研究

一、研究背景与意义

高光谱图像（Hyperspectral Image, HSI）分类是遥感领域的重要任务，但面临两个核心挑战：一是跨域场景（不同传感器、不同时相、不同地域）下光谱分布差异导致模型泛化能力差；二是实际应用中目标域每类往往仅有极少标注样本（即少样本学习，Few-Shot Learning）。传统卷积神经网络（CNN, Convolutional Neural Network）受限于局部感受野，难以建模HSI中不规则地物分布所对应的长程空间依赖关系，且单纯光谱或空间特征不足以应对光谱畸变。为解决上述问题，研究人员开展此项研究，提出一种融合光谱-空间增强与轻量Transformer全局上下文建模的跨域少样本HSI分类网络，发表于《Electronics》。研究结论表明该网络能有效提取判别性特征、缩小域间差异，在少标注条件下取得优于对比方法的分类性能，对跨域小样本遥感分类具重要参考价值。

二、关键技术方法概述

研究人员以三个公开HSI数据集（Indian Pines、Pavia University、Salinas）为实验样本来源，构建如下流程：① 对三维HSI立方体提取局部空-谱块（spatial–spectral patch）作为输入；② 经光谱-空间增强与注意力分离（SESA）模块并行提取左右分支特征并拼接，接SE Block通道重标定，1×1卷积压缩后全局平均池化得局部向量；③ 将SESA输出的64通道特征图展平为序列输入全局上下文建模模块（GACM），经线性投影、层归一化（LayerNorm）及8头自注意力（MHSA）与前馈网络（FFN, Feed-Forward Network）含残差连接提取全局依赖，再重塑回二维结构并经1×1卷积与全局平均池化得全局向量；④ 将局部与全局向量拼接送入分类器；⑤ 采用三任务联合损失——交叉熵损失L_CE监督分类、核三元组损失L_hard（引入核函数映射至高维空间度量类内/类间距）增强特征判别性、域对抗损失L_domain配合梯度反转层（Gradient Reversal Layer, GRL）对齐源-目标域特征分布；⑥ 分阶段训练：先源域预训练，再目标域少样本微调。

三、研究结果

2.3.3. Spectral–Spatial Enhanced Separated Attention (SESA) Module

研究人员设计双分支结构分别对输入patch做光谱维与空间维分组卷积，左分支用1×1卷积捕获波段间非线性相关性，右分支用3×3卷积提取局部纹理，两分支输出按通道拼接后经SE Block（全局平均池化→全连接→Sigmoid权重→通道缩放）抑制冗余特征、增强显著光谱响应，最后1×1卷积降维并全局平均池化生成局部特征向量。结论：SESA能有效分离并利用光谱与空间异质信息，通过通道重标定提升判别性波段权重。

2.3.4. Global Context Modeling Module (GACM)

研究人员将SESA输出的特征图展平为序列X′∈?^B×N×64（N=H×W），经可学习线性层投影至Transformer兼容维度，通过Multi-Head Self-Attention计算各位置Query与Key相似度（缩放点积注意力，8头并行），聚合Value得到全局依赖特征Y=Concat(head₁,…,head₈)W_O，接LayerNorm与残差及两层FFN（64→256→64）增强非线性。输出经reshape恢复二维结构，1×1卷积降至32通道后全局平均池化得全局特征向量。结论：轻量Transformer结构突破CNN感受野限制，成功建模HSI中跨区域空间语义关联。

2.3.5. Loss Functions and Training Strategy

研究人员设计L_total=L_CE+λ₁L_hard+λ₂L_domain，其中核三元组损失L_hard=max(0,d_pos^Φ?d_neg^Φ+α)在高维再生核希尔伯特空间（RKHS, Reproducing Kernel Hilbert Space）拉近同类推远异类，域对抗损失通过对抗训练迫使特征分布对齐。采用分阶段优化策略。结论：多任务联合损失兼顾分类精度、特征判别性与域不变性，分阶段训练稳定收敛。

四、讨论与结论总结

研究人员通过引入光谱-空间分离注意力（SESA）克服单一卷积对高维光谱与二维空间信息耦合提取不足的问题，利用SE Block自适应增强有效波段响应；通过轻量级Transformer（GACM）弥补CNN受限感受野，显式建模全域空间依赖；通过核三元组损失强化非线性可分性、域对抗损失缩小跨域分布偏移。实验结果表明所提网络在多个跨域少样本HSI分类任务上总体精度（OA, Overall Accuracy）、平均精度（AA, Average Accuracy）及Kappa系数均优于同期对比方法（如3D-CNN、HybridSN、DACN等），证明光谱-空间增强与全局上下文建模结合及多损失联合优化对跨域少样本HSI分类的有效性。该研究为小样本、跨传感器/时相的高光谱遥感分类提供了一种可行深度学习框架。