高光谱-偏振-激光雷达多模态图像融合方法用于少样本场景

《Photonics》：Hyperspectral–Polarization–LiDAR Multimodal Image Fusion Method for Few-Shot Scenarios

　　

为满足复杂场景下高精度目标分类的需求，研究人员提出了一种面向少样本（few-shot）场景的高光谱-偏振-激光雷达（Hyperspectral–Polarization–LiDAR）多模态图像融合方法。针对偏振图像（polarimetric image）和激光雷达图像（LiDAR image）构建了特征映射函数（feature-mapping function），并采用多尺度分层优化策略（multi-scale hierarchical optimization strategy）联合增强跨模态的低频和高频分量。该方法有效解决了有限训练数据下跨模态维度差异显著以及鲁棒特征提取与融合困难等关键挑战。所提算法在NWPUSP光谱-偏振数据集（spectral-polarization dataset）和KAIST光谱-深度数据集（spectral-depth dataset）上进行了双模态图像融合实验。与其他融合方法相比，信息熵平均提高7.3%和4.87%，标准差平均提高53.18%和30.35%，平均梯度平均提高48%和108.28%，空间频率平均提高96.25%和101.13%。此外，研究人员依靠自研集成高光谱偏振成像系统（integrated hyperspectral-polarization imaging system）和商用激光雷达（commercial LiDAR），同步高效获取了复杂地物场景的多模态图像，包括高光谱、偏振和激光雷达图像。与六种主流融合算法进行对比实验，客观评价结果显示，信息熵平均提高7.19%，标准差平均提高46.85%，平均梯度平均提高76.62%，空间频率平均提高79.74%，显著增强了融合图像的特征保留能力。在少样本条件下，融合图像的目标识别分类精度和Kappa系数（Kappa coefficient）比单模态高光谱图像分别提高9.8%和11.05%。该方法有效突出阴影遮挡下的目标，并弥补激光雷达对表面纹理响应的不足，实现了复杂场景下地物目标多模态图像的互补优势。这项研究为未来光学多模态遥感与图像融合提供了新的解决方案。

**论文解读：面向少样本场景的高光谱-偏振-激光雷达多模态图像融合方法**

**研究背景与问题**

自20世纪70年代以来，遥感图像从“单模态”采集发展到“多模态”采集。传统光学遥感在复杂场景中难以满足高精度城市目标识别与分类的需求。其中，高光谱图像（hyperspectral imagery）兼具空间信息和丰富光谱信息，在细粒度目标识别与分类任务中极具价值；偏振图像（polarization imagery）在阴影或复杂环境下能增强目标与背景的对比度；激光雷达（LiDAR）则提供精确的三维深度信息。然而，这三类图像很少从同一场景同步获取，且存在显著的模态差异，给统一表示带来困难。因此，如何有效整合高光谱图像的丰富光谱特征、偏振图像的独特物理特性以及激光雷达提供的精确深度信息，成为当前多模态遥感图像融合的基础挑战和核心难点。现有方法大多基于深度学习，严重依赖标注数据，在少样本（few-shot）场景下适应性有限；且多数融合框架局限于双模态组合，难以充分挖掘多模态间的互补信息。

**研究内容与结论**

针对上述问题，研究人员提出了一种面向少样本场景的高光谱-偏振-激光雷达多模态图像融合方法。该方法聚焦于偏振图像中的偏振度（Degree of Polarization, DOP）和激光雷达深度图像的梯度稀疏性，设计了具有明确物理解释的偏振和深度映射函数，将物理先验直接融入融合过程。通过利用每个像素的真实DOP值和深度梯度幅值，自适应增强高偏振目标与弱偏振目标之间以及不同深度目标之间的对比度，从而提高不同目标的判别性，改善融合质量和分类性能。所提出的多尺度混合范数凸优化目标函数（multi-scale hybrid-norm convex optimization objective function）在像素级运行，不依赖数据驱动训练，由于稀疏约束而天然兼容偏振和深度特征的稀疏性，使其在高光谱-偏振-激光雷达图像融合任务中有效。该论文首次将三种物理成像模态统一建模在一个优化框架内，实现了地物“材质-纹理-几何”的三位互补表征。实验结果表明，该算法在NWPUSP光谱-偏振数据集和KAIST光谱-深度数据集上，信息熵、标准差、平均梯度和空间频率均显著优于对比方法；在自采集的三模态数据上，客观评价指标同样提升明显。在少样本条件下，融合图像的目标识别分类精度和Kappa系数比单模态高光谱图像分别提高9.8%和11.05%，有效抑制了高光谱图像的阴影效应，增强了复杂场景下的地物识别能力。该论文发表在《Photonics》。

**关键技术方法（不超过250字）**

研究人员主要采用以下关键技术方法：首先，通过自研高光谱偏振集成成像系统（含棱镜-光栅分光元件和焦平面偏振探测器）与商用Aolan Avia激光雷达（脉冲飞行时间测距，双棱镜快速扫描）同步采集数据，样本来源于2025年9月和7月在晴朗无风天气下约40米距离的实测场景（包括石板路、坦克、碎石堆、车辆、树木、草地、沥青路等）。其次，利用Stokes参量计算偏振度（DOP）和偏振角（Angle of Polarization, AOP）图像；基于直接线性变换（Direct Linear Transformation, DLT）算法将激光雷达点云投影至高光谱偏振图像平面，经点扩散最近邻填充获得密集深度图。核心融合方法包括：针对偏振图像和深度图像分别设计物理特征映射函数（利用DOP值矩阵和深度梯度幅值矩阵）；采用多尺度分层优化策略，对光谱图像、偏振图像和深度图像进行多尺度分解，构建混合范数（L₂范数用于光谱保真度，L₁范数用于偏振和深度特征的稀疏约束）凸优化目标函数，并采用前向-后向分裂（Forward-Backward Splitting, FBS）算法迭代求解，最后将多尺度优化结果与残差层高频细节加权融合得到最终融合图像。

**研究结果**

**3.2.1 算法度量分析**：通过控制变量法分析了多尺度层数k和正则化参数δ对融合性能的影响，确定最优参数k=3、δ=30。

**3.2.2 光谱-偏振图像融合**：在NWPUSP公开数据集和自采集数据集上，与DTCWT、GFF、NSCT、Bayes、LatLRR、WLS-VSM六种方法对比。主观视觉上，所提方法保留了车辆轮廓、窗户与窗棂的对比度、坦克迷彩纹理等细节；客观指标上，信息熵平均提高7.3%，标准差平均提高53.18%，平均梯度平均提高48%，空间频率平均提高96.25%。结构相似性（SSIM）略低于部分对比方法，但这是为保留稀疏特征和几何轮廓信息所做的权衡。

**3.2.3 偏振-深度图像融合**：在KAIST光谱-深度数据集上验证，所提方法成功整合了光谱图像的纹理细节和深度图像的空间感知。与其他方法相比，信息熵平均提高4.87%，标准差平均提高30.35%，平均梯度平均提高108.28%，空间频率平均提高101.13%。

**3.2.4 光谱-偏振-激光雷达图像融合**：在自采集三模态数据上进行融合实验，对比六种方法。主观上，所提方法唯一成功结合了光谱纹理、偏振对隐藏目标的突出能力以及LiDAR的空间感知；客观指标上，信息熵平均提高7.19%，标准差平均提高46.85%，平均梯度平均提高76.62%，空间频率平均提高79.74%。跨场景验证（Scene 2）显示，该方法具有良好的泛化能力和鲁棒性，关键指标波动较小。

**3.3 图像分类**：采用支持向量机（Support Vector Machine, SVM）进行少样本分类实验（1-shot至25-shot）。高光谱-偏振-激光雷达融合图像在25-shot下达到71.94%的精度，Kappa系数0.6568，比单模态高光谱图像平均精度提高9.8%，Kappa提高11.05%。配对t检验表明，在3-shot及以上设置下，两类图像差异具有统计学显著性。偏振-激光雷达融合图像虽在低样本下精度稍高，但标准差更大，存在过拟合；而融合高光谱信息后有效缓解了过拟合。

**讨论与结论**

讨论部分指出：融合质量高度依赖于高光谱偏振图像与激光雷达点云的精确配准，动态观测平台下的振动或运动可能导致较大配准误差；目前学术界缺乏公开的三模态数据集，限制技术发展；所提方法的时间效率居中，可通过固定参数减少运行时间但会牺牲视觉性能；该方法理论上可迁移至其他高光谱-偏振-激光雷达系统，但若输入图像分辨率变化需调整多尺度层数k；在目标与背景偏振特性相似时，融合性能可能下降，可引入AOP等额外偏振特征增强判别性。未来需建立多模态遥感数据集，进一步验证该方法的泛化能力，特别是不同光照、季节和地理区域下的鲁棒性。

结论部分：该论文针对单模态遥感在复杂环境（如高精度城市地物识别）中识别能力不足的问题，提出了一种面向少样本场景的高光谱-偏振-激光雷达多模态图像融合方法。通过为偏振和激光雷达图像设计对应的特征映射函数，并采用多尺度分层优化平衡多模态图像的低频和高频信息，实现了多模态图像信息的有效融合。实验结果表明，该算法在NWPUSP和KAIST数据集上信息熵、标准差、平均梯度和空间频率显著提升；在三模态实测数据上，信息熵、标准差、平均梯度和空间频率分别平均提高7.19%、46.85%、76.62%和79.74%，融合图像的目标识别分类精度和Kappa系数比单模态高光谱图像分别提高15.7%和15.15%（原文此处数据与摘要略有不同，按原文结论部分给出）。该方法可有效抑制高光谱图像的阴影效应，增强复杂场景下的地物识别能力，为少样本场景下的地物目标识别与分类等复杂环境遥感探测提供了新思路，具有广阔应用前景。