《Remote Sensing of Environment》：Robust hyperspectral reconstruction from satellite and airborne observations via a deep hierarchical fusion network across heterogeneous scenarios
编辑推荐：
高分辨率多光谱成像与低分辨率高光谱数据融合构建了HR-HSI重建框架，在西部美国三种生态景观中验证了其优于七种现有方法的性能（SAM=2.64，RMSE=0.0267），光谱与空间精度均得到显著提升。
Fujiang Ji|Jiaqi Yang|Philip A. Townsend|Ting Zheng|Kyle R. Kovach|Tong Yu|Ruqi Yang|Ming Liu|Min Chen
威斯康星大学麦迪逊分校森林与野生动物生态学系，1630 Linden Drive，Madison，WI 53706，美国
摘要
高空间分辨率的高光谱图像（HR-HSI）对于精细尺度的生态和环境监测至关重要，然而现有的太空传感器在光谱分辨率和空间分辨率之间存在权衡。通过数据融合进行高光谱重建为生成HR-HSI提供了一条有前景的途径，但大多数现有方法都是基于合成且完美对齐的数据集进行训练的，其在实际跨传感器条件下的性能仍不确定。在这里，我们开发了一个深度学习融合框架，通过整合NASA的地球表面矿物尘埃源调查（EMIT）的低分辨率高光谱图像和PlanetScope的高分辨率多光谱图像来重建HR-HSI。该模型使用机载AVIRIS-NG和AVIRIS-3图像作为参考数据，在美国西部的三个生态不同的景观中进行了评估。与七个同类的最先进融合模型相比，所提出的框架始终表现出更好的性能，最佳光谱角映射器（SAM）为2.64，均方根误差（RMSE）为0.0267。其他指标（MAE = 0.0174，ERGAS = 3.62，PSNR = 28.87）进一步证实了在研究区域内的强光谱保真度和重建准确性。通过对植被密度梯度（NDVI类别）、光谱子区域（VIS、NIR和SWIR）以及像素级分布的分层分析，展示了在异质景观中的强鲁棒性。传感器互校准流程确保了EMIT和PlanetScope之间的辐射度一致性，提高了融合输入的可靠性。总体而言，这项研究表明，所提出的深度学习框架能够从当前的卫星观测中实现可扩展的高保真HR-HSI重建，支持植被特征检索、生态系统监测和环境变化分析等精细尺度应用。
引言
高空间分辨率的高光谱图像（HR-HSI）通常通过机载成像光谱系统获得，例如机载成像光谱仪（AIS，Vane等人，1983年）、操作模块化成像光谱仪（OMIS，Du等人，2009年）和机载可见/近红外成像光谱仪（AVIRIS，Green等人，1998年），提供了关于地球表面和生物圈的光谱和空间详细信息。HR-HSI通常捕获数百个连续的窄光谱带，覆盖可见光、近红外和短波红外区域，并结合高空间分辨率，从而能够更准确地描述化学和物理特性（Brezini和Deville，2023年；De Luca等人，2024年）。这些能力支持广泛的应用，包括植被、矿物的详细测绘和环境变化监测，使得HR-HSI对于研究复杂和异质的景观至关重要（Li等人，2021年；Ma等人，2023年；Ou等人，2022年）。然而，重复的机载高光谱采集往往成本高昂，难以实现，这对大范围的空间和时间尺度的应用构成了挑战。
随着当前和即将推出的太空高光谱成像光谱仪的日益普及，例如ASI的应用型高光谱仪（PRISMA，Loizzo等人，2019年）、DLR的地球感测成像光谱仪（DESIS，Müller等人，2016年）和环境监测与分析计划（EnMap，Guanter等人，2015年）、ESA的哥白尼环境高光谱成像任务（CHIME，Nieke和Rast，2018年）、NASA的地球表面矿物尘埃源调查（EMIT，Green等人，2020年）、浮游生物、气溶胶、云和海洋生态系统（PACE，Gorman等人，2019年）和地表生物学与地质学（SBG，Cawse-Nicholson等人，2021年）、日本宇宙航空研究开发机构的高光谱成像套件（HiSUI，Iwasaki等人，2011年）以及Planet的Tanager-1（Duren等人，2025年），现在可以从轨道上获取大规模甚至全球范围的高光谱观测数据，以支持对地球表面的精确监测。然而，光谱分辨率和空间分辨率之间存在根本的权衡，使得同时在这两个领域实现高保真度变得具有挑战性。具体来说，由于每个窄光谱带捕获的能量相对较少，传感器必须扩大其瞬时视场以保持可接受的信噪比，从而导致空间分辨率受限——通常在30到60米之间（Goetz等人，1985年；Li等人，2022年；Li和Gu，2022年；Zhang等人，2023年）。因此，单个像素通常包含多种材料的混合（混合像素），特别是在植被稀疏的异质环境中。这种空间混合对许多应用构成了重大挑战，包括重要叶片特性的检索（例如，在混合像素中，土壤、凋落物或非光合作用植被的反射贡献可能会掩盖植被的微妙吸收特征），以及精准农业（需要精细区分作物状况）和土地覆盖分类（特别是在边缘区域）（De Luca等人，2024年；Feng等人，2019年）。相反，像PlanetScope、Worldview、Quickbird这样的太空多光谱数据提供米级到亚米级的空间分辨率，能够详细捕捉景观特征。然而，它们的光谱分辨率有限，通常仅限于3-8个宽带，这限制了它们在需要详细光谱变化的任务中的能力（Estévez等人，2022年；Lu等人，2019年；Navarro-Cerrilloa等人，2014年；Zarco-Tejada等人，2019年）。
为了利用低空间分辨率高光谱图像（LR-HSI）和高空间分辨率多光谱图像（HR-MSI）的互补优势，近年来通过数据融合进行光谱重建成为一种有效生成HR-HSI的有前景的方法（Dian等人，2021年）。一般来说，现有的融合方法可以分为三类。第一类是基于全景锐化的方法（Thomas等人，2008年；Vivone等人，2021年），最初是为多光谱-全色融合开发的（Carper等人，1990年；Dadrass Javan等人，2021年；Jiang等人，2020年），通过整合高分辨率全色图像的空间细节来提高高光谱图像的空间分辨率。代表性技术包括成分替换（CS），其中低分辨率强度成分被高分辨率对应成分替换（Aiazzi等人，2007年；Chavez和Sides，1991年），以及多分辨率分析（MRA），它将高分辨率图像的精细空间细节整合到低分辨率数据中（Mallat，1989年）。尽管全景锐化方法易于实现，但它们经常会导致空间和光谱失真（Ghahremani和Ghassemian，2016年；Vivone等人，2021年；Xu等人，2014年）。第二类是基于变分优化的方法，它们将融合问题视为一个图像恢复优化问题，并构建了一个假设的观测模型。这些方法的有效性在很大程度上取决于手动设计的正则化项的选择。当正则化项过于简单时，重建结果往往不准确。相反，使用更复杂或更真实的正则化项可以提高性能，但通常会使优化过程变得更加具有挑战性（Gogineni和Chaturvedi，2018年；Jiang等人，2014年；Tian等人，2022年；Xu等人，2022年；Zhang等人，2012年）。第三类是基于深度学习的方法，由于它们能够捕捉LR-HSI和HR-MSI数据之间的复杂非线性关系，因此在HR-HSI重建中获得了相当大的流行度。这些方法包括基于卷积神经网络（CNN）的架构，如UNet、ResNet（Deng等人，2021年；Han等人，2018年；Liu等人，2020年；Priya等人，2022年；Yuan等人，2018年；Zhang等人，2021年；Zhu等人，2024年），基于生成对抗网络（GAN）的架构（Alvarez-Gila等人，2017年；Liu和Zhao，2020年；Vandal等人，2022年；Zhu等人，2021年），以及最近基于变换器的方法，这些方法利用了长距离依赖性和光谱自相似性（Cai等人，2022年；Li等人，2023年；Wang等人，2023年）。高级机制，如注意力模块、多分支框架和渐进式学习策略，进一步提高了重建质量（Fayek等人，2020年；Shen等人，2024年；Zhu等人，2024年）。
尽管取得了这些进展，但几个关键问题限制了当前融合模型的实际应用性：（1）大多数融合网络都是使用合成数据集进行训练和验证的，在这些数据集中，LR-HSI是通过下采样现有的公共高分辨率高光谱图像人工生成的，而HR-MSI包含从同一高光谱源提取的均匀间隔的光谱带。这样的合成数据集缺乏现实世界的复杂性，它们完美对齐，没有任何典型的地理定位错误、校准不一致性或照明差异（Deng等人，2021年；Zhang等人，2021年）。这提出了一个重要问题：使用真实数据集在现实条件下评估当前融合算法的优势，以及它们确保可扩展性以适应即将到来的卫星任务（例如SBG、CHIME）的潜力，仍然很大程度上未被探索。（2）由于具有高空间分辨率和完整光谱覆盖的高光谱图像的可用性有限，许多现有研究主要强调空间保真度，而对光谱保真度的关注较少，通常依赖于中等分辨率的数据（例如，10米的Sentinel-2图像），这些数据仅限于可见光波长（400-700纳米）（Signoroni等人，2019年）。这限制了在需要全面光谱信息的场景中的应用，包括红边、近红外（NIR）和短波红外（SWIR）区域，这对于植被监测等应用至关重要。（3）尽管提出了许多先进的深度学习架构，但模型设计越来越复杂，往往导致计算复杂性的显著增加（Du等人，2023年；Zhu等人，2024年）。然而，目前尚不清楚这种模型复杂性的增加是否始终能带来高光谱重建质量的提高。
为了解决这些限制，本研究旨在建立一个可重复的高光谱重建框架，该框架同时确保高空间和光谱保真度，并在涉及EMIT、PlanetScope和AVIRIS-NG/?3观测的真实世界多传感器融合任务中展示出鲁棒性。特别是，我们专注于回答两个关键研究问题：（1）现有的融合模型和我们提出的架构在应用于真实、跨平台的遥感数据时的表现和泛化能力如何？（2）模型复杂性如何影响高光谱重建的准确性和有效性？
实验区域
为了全面评估高光谱重建模型在各种真实世界景观条件下的有效性和泛化能力，我们选择了美国西部三个生态上不同的实验区域（图1）。这些区域的选择基于NASA的EMIT、PlanetScope和NASA的AVIRIS-NG/?3提供的配对LR-HSI、HR-MSI和HR-HSI的可用性，以及它们的重大生态重要性和多样的土地覆盖类型。
传感器间校准
校准后的结果显示，EMIT和PlanetScope在所有实验区域内的反射率一致性显著提高，突显了传感器间校准在实现一致的多传感器数据融合中的关键作用。图S2展示了在三个实验区域中，将PlanetScope的反射率与八个PlanetScope波段（从沿海蓝光到NIR）的光谱卷积EMIT反射率进行比较的散点图，而图S3显示了代表性的光谱讨论
在这项研究中，我们通过引入两种新的深度学习架构MSHFNet及其空间和光谱增强变体MSAHFNet，开发了一个可重复的高光谱重建框架。这些模型使用来自EMIT、PlanetScope和AVIRIS-3/SHIFT的真实世界跨传感器遥感观测数据进行训练和评估，代表了多样化的光谱、空间和环境条件。结果表明，我们的方法能够重建HR-HSI
结论
本研究提出了一个基于深度学习的可重复框架MSHFNet和MSAHFNet，用于通过融合LR-HSI和HR-MSI进行高光谱重建。通过利用来自太空和机载平台的真实世界跨传感器遥感数据，所提出的方法解决了先前模型的关键限制。我们提出的架构中整合了多尺度特征提取和空间-光谱信号增强模块，使模型能够保留细节
作者贡献声明
Fujiang Ji：写作 – 审稿与编辑，撰写 – 原稿，方法论，调查，正式分析，数据管理，概念化。Jiaqi Yang：写作 – 审稿与编辑，方法论。Philip A. Townsend：写作 – 审稿与编辑，概念化。Ting Zheng：写作 – 审稿与编辑，概念化。Kyle R. Kovach：写作 – 审稿与编辑，数据管理。Tong Yu：写作 – 审稿与编辑。Ruqi Yang：写作 – 审稿与编辑。Ming Liu：写作 – 审稿与编辑。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本研究得到了美国国家航空航天局（NASA）通过商业小型卫星数据科学分析（CSDSA）（80NSSC24K0054）的支持。我们感谢威斯康星大学麦迪逊分校计算机科学系的NetLab小组提供的高性能计算支持。
