基于自监督学习的多光谱图像时间序列预测及其在云去除和土地利用分析中的应用

《Engineering Applications of Artificial Intelligence》：Time series prediction of multi-spectral images using self-supervised learning and its applications in cloud removal and land use analysis

　　Shankho Subhra Pal|Jayanta Mukhopadhyay|Sudeshna Sarkar
印度理工学院卡拉格普尔分校计算机科学与工程系

摘要
多光谱卫星图像包含重要的光谱、空间和时间信息。传统方法通常依赖于独立的、针对特定任务的模型，无法充分利用这种多模态信息。在本研究中，我们提出了一种统一的自监督框架——自监督多光谱时间序列预测器。近年来，用于遥感时间序列分析的基于Transformer的模型完全摒弃了卷积和反卷积层，取而代之的是注意力模块。这种方法与我们所提出的方案有显著不同。具体而言，该架构采用了卷积-编码器-注意力-反卷积-解码器的设计，通过正弦函数实现的时间编码，兼顾局部空间特征与不规则时间间隔下的全局时间依赖性建模。该模型被用于时间序列预测，同时通过引导式渐进迁移学习机制将其适配于云层去除任务，以避免灾难性遗忘现象。此外，这些内部表示还被用于基于分层簇数辅助k-means算法的土地覆盖分层聚类，从而自动确定特定区域的簇数。通过将时间序列预测、云层去除和聚类整合为单一模型，本研究为环境监测和变化检测提供了坚实的基础。

引言
卫星图像中代表地球某一位置的每个像素都包含光谱信息，这些信息有助于识别该像素对应的土地覆盖类型。每个像素所代表的土地覆盖还会受到其周围环境的影响，同时时间特性也同样重要。因此，从静态的像素级光谱分析转向动态的时空光谱建模对于现代地球观测而言至关重要。多光谱卫星图像是定期拍摄的，因此除了光谱信息及其周边环境外，一个像素的土地覆盖还会受到其时间特性的影响（Qin等人，2025年）。不同时间点拍摄的某地卫星图像的时空信息可应用于多种任务，如云层去除、土地覆盖分类、变化检测、森林砍伐监测、城市化分析等。深度学习方法已被广泛用于这些应用领域。所有这些应用都需要从数据中提取特征，而这些特征可能（但不一定）是通过深度学习方法提取的。为此，可以先训练一个模型以执行某些任务，例如将图像分类到特定的土地覆盖类别中，如水体、植被、裸地、城市区域等，之后这些特征也可用于其他应用，从而节省为新任务训练模型的成本和资源消耗。与那些往往忽略局部空间归纳偏见的现有掩码图像建模方法不同，本研究提出了一种统一的自监督学习框架，旨在提取稳健的、与具体任务无关的时空特征。

特征提取器需要生成包含特定位置在不同时间点拍摄的卫星图像的光谱、空间和时间信息的时空光谱特征。该框架首先训练一个模型，用于预测给定时间点的遥感图像，随后再通过引导式渐进迁移学习方法将其适配于云层去除任务。从该训练好的模型中提取的包含空间、光谱和时间信息的特征，会被用于基于分层CNAK算法的土地覆盖分层分类（Pal等人，2024年）。第2节将讨论一些相关研究，第3节阐述本研究的动机和目标，第4节介绍所使用的符号说明，第5节介绍结合预测、云层去除和聚类的统一方法，第6节分析实验设置及综合结果，第7节探讨所提方法的局限性，最后在第8节给出结论。

相关研究
地球表面会随着时间不断发生变化，这些变化可能由城市化、森林砍伐等多种原因引起。因此，变化检测是利用卫星图像进行遥感应用的重要任务之一（Brown等人，2022年）。目前存在多种侧重不同的变化检测方法，Asokan和Anitha（2019年）对遥感领域的各种变化检测技术进行了综述。Khelifi和Mignotte（2020年）也提出了相关方法。

动机与目标
预测未来的多光谱卫星图像有助于监测森林砍伐、城市化、作物生长周期等环境变化，进而帮助预测和缓解环境灾难。由于卫星图像是按时间顺序获取的，因此除了具备光谱和空间属性外，还具有时间属性。为多个独立任务定制特征或特征提取器需要大量的计算资源。因此，先训练一个用于时间序列预测的模型，再对其加以适配，是一种更为高效的方法。

符号说明与时间编码
设某张图像在时间戳ti对应的月份和年份分别为MOI(ti)和YOI(ti)，经过编码后分别表示为month(ti)和year(ti)，如公式(1)和(2)所示。公式(2)中会减去1970年，以便对数值进行缩放。月份并不直接用数字表示，因为2024年1月与2023年12月以及2024年2月的距离相等，因此采用公式(1)中的正弦函数对其进行编码：month(ti)=sin(2×π×MOI(ti)/12)+cos(2×π×...)

时间序列预测方法
本研究提出了一种基于自监督学习的模型，用于多光谱图像的时间序列预测，该模型被称为自监督多光谱时间序列预测器（SSMTSP）。其目标是根据给定的时间戳ti生成相应的图像Iti。为此，首先将大图像分割成小的图像块，如图7所示。SSMTSP的输入记为IP，类型为M；需要生成的图像Iti则以掩码形式MIti呈现。预期的输出为...

数据集描述与实验设置
在本实验中，使用2021年和2022年的Sentinel 2无云图像作为训练数据，而其他年份的无云图像则用于测试。图像块的大小设置为16×16像素，研究区域为西孟加拉邦以南的地带，其精确地理位置见表3。Sentinel 2共有4个波段，分辨率为10m×10m，因此B=4，这四个波段分别为红色、绿色、蓝色和近红外光波段，每个图像块覆盖的面积为160m×1970年。共有20张无云图像被用于实验...

局限性与未来展望
尽管所提出的框架为多光谱时间序列分析提供了统一的解决方案，但仍存在一些局限性。首先，该模型容易对初始训练区域产生偏好，若在不进行本地微调的情况下应用于地理环境差异较大的区域，性能会下降。初步的本地微调已显示出良好效果，未来计划开展更深入的实验研究。其次，云层去除模型依赖于...

结论
本文提出了一种自监督的CNN–Transformer混合框架（SSMTSP），该框架能够利用其他时间点的图像，预测特定位置在给定时间戳的??光谱卫星图像。该模型通过显式的正弦函数时间编码，整合了不规则时间间隔下的空间、光谱和时间信息。该模型预测出的图像平均PSNR值为32.4 dB，且可通过相应方法成功适配于云层去除任务。

CRediT作者贡献说明
Shankho Subhra Pal：写作——审阅与编辑、写作——初稿撰写、可视化、验证、方法设计、研究分析、形式化分析、数据整理、概念构思。
Jayanta Mukhopadhyay：写作——审阅与编辑、项目指导。
Sudeshna Sarkar：写作——审阅与编辑、项目指导。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。