提高更多像素的可用性：一种基于数据的框架，用于实现卫星图像中可定制的云层和阴影处理

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Make more pixels usable: A data-driven framework for customizable cloud and shadow processing in satellite imagery

　　余霞|田武林|刘向宇|陈双|袁帅|田庚|徐阳|张伟|何伟|王杰|龚鹏
鹏城实验室，中国深圳518000

摘要
大气干扰，特别是云层覆盖，仍然是有效利用光学遥感图像的一个持续挑战。现有的云处理方法要么定位云层位置，要么去除云层干扰，但无法自适应地处理多云图像，导致大量有价值的像素信息丢失。为了解决这一限制，本文介绍了一个数据驱动的框架，用于优化卫星图像中的像素利用。首先，我们提出了一个可调节的云强度指数，以量化云层和阴影的干扰，从而实现不同云像素的选择性处理。此外，我们将一种新的云模拟策略应用于Landsat-8数据，生成了全球分布的云样本，并构建了基准CloudL8-LC数据集。CloudL8-LC数据集包含超过52亿个像素，在现有云数据集中具有最广泛的覆盖范围，并支持云检测、云去除和可调节的云处理。基于该数据集，我们开发了一个单图像云强度估计网络（SCIENet），该网络配备了相关性感知注意力模块（RAAM）和基于门控的信道-空间特征剪除器（GCSFP），这两种机制都是为了适应云形成的固有变化性。一旦SCIENet预测出云强度指数，就可以灵活调整阈值，以满足用户的具体需求，从而在单图像中实现可定制的云和阴影处理。此外，我们引入了一套评估指标，用于评估云处理的性能，包括像素数量、质量和实际效用。广泛的实验表明，所提出的云强度指数作为单图像云处理的动态阈值参数，能够选择性地屏蔽高度污染的像素，同时重建受影响最小的区域。这为用户提供了可调的云处理解决方案，并在多种云类型中表现出鲁棒性。与传统的云检测方法相比，SCIENet显著提高了像素的可用性，同时保持了可靠的分类准确性，确保了在各种土地覆盖场景下的一致性能。此外，在一些现实世界的云条件下，经典cFmask算法的云检测精度低于70%，而提出的SCIENet模型可以达到90%的精度。另外，与手动标注的掩膜相比，SCIENet可以使清晰像素的数量增加15%以上。

引言
光学图像是环境监测和土地评估的重要资源（Kennedy等人，2009年；Chen等人，2022年；Ma等人，2024年）。然而，大气干扰，特别是云层覆盖，仍然对其有效利用构成持续挑战。根据国际卫星云气候项目（ISCCP）的数据，大约63%的地球表面被云层遮挡，而Landsat图像的年平均云覆盖率为约40%（Ju和Roy，2008年；Roy等人，2014年）。这种广泛的云污染显著减少了可用像素的数量，从而降低了提取信息的质量和可靠性（Mahajan和Fataniya，2020年；Xiong等人，2023年）。尽管多时相方法已被广泛采用来减轻云的影响，但它们通常会带来数据获取和操作复杂性的代价（Zhu和Woodcock，2014年；Chen等人，2019年）。因此，在单图像中解决云干扰仍然是一个紧迫的挑战，需要创新和高效的解决方案。

为了处理单幅遥感图像中的云污染，一种广泛采用的处理策略是首先检测被云覆盖的区域，然后丢弃受影响的像素，这促进了云检测方法的进步（L. Li等人，2021年；Li等人，2022年）。例如，Landsat数据通过其质量评估（QA）波段提供了像素级的云分类层，该层基于多种光谱测试应用cFmask算法。经典的cFmask算法结合亮度、温度和云的物理特性来建立基于阈值的规则，从而在像素级别预测云和阴影的位置（Zhu和Woodcock，2012年；Frantz等人，2018年；Qiu等人，2019年）。人工智能的最新进展促进了云检测方法的发展，机器学习成为一种领先的方法（Shao等人，2019年；Mohajerani和Saeedi，2019年；Aybar等人，2022年；Wright等人，2025年）。例如，梯度提升算法已被训练为全局云分类器，为用户提供更灵活的Sentinel-2图像云解释能力（Skakun等人，2022年）。然而，现有的云检测策略主要关注识别被云污染的像素，但忽略了云层和阴影下隐藏的有价值信息。这导致不必要的排除潜在有用的像素，特别是在受薄云或微妙阴影影响的区域，从而降低了卫星数据利用的效率。

为了提高可用遥感数据的数量和质量，研究人员研究了旨在重建晴空图像的云去除方法（Wang和Wang，2022年；Hamidiyati和Rahadianti，2024年；Chen等人，2024年）。这些技术通常依赖于来自不同时间获取或传感器模态的补充数据，如合成孔径雷达（SAR）图像，以补偿缺失的光学信息（Meraner等人，2020年；F. Xu等人，2022年）。对于单幅图像，云去除算法通常与光谱相关性结合使用，以减轻薄云的影响，通常产生视觉上准确的重建结果（He等人，2010年；Cai等人，2016年）。在这些方法中，长距离依赖性起着关键作用，促使基于注意力网络的发展，这些网络在处理薄云污染和小厚云方面显示出有希望的结果（Li等人，2019年；Guo等人，2023年；Li等人，2024年）。然而，在现实世界的遥感应用中，云干扰往往是混合的，厚云、薄云和阴影效应以复杂的组合出现（J. Li等人，2020年；M. Xu等人，2022年；Siravenha等人，2011年）。在这种条件下，云去除技术在多云图像中难以实现全面恢复，导致伪影和模糊，可能影响下游应用。

云处理的目标在不同的遥感应用中差异很大。具体来说，对于云层下几乎没有信息的厚云，掩蔽是一种合适的方法。相比之下，对于薄云，底层信息仍然有价值并且可以重建。然而，现有方法往往缺乏保留多云卫星数据中嵌入的有价值信息的灵活性。这一限制突显了迫切需要一个灵活的云处理框架，能够在云掩蔽和信息重建之间取得平衡。云检测和去除的最佳策略应基于特定的用户需求和预期应用来确定。实现这一目标通常需要克服两个核心挑战。

第一个挑战在于有效量化卫星图像中的云干扰。区分薄云和厚云本质上是有歧义的，通常依赖于主观的视觉评估（Zhai等人，2018年）。波段选择和拉伸技术的变化进一步加剧了手动解释的一致性问题（Yan等人，2018年）。大多数现有的云检测算法仅估计云存在的概率，缺乏量化光谱污染程度的能力。因此，仍然缺乏能够评估云对卫星图像影响的稳健定量指标，从而限制了当前云处理技术的适应性。随着新系数的引入，能够系统评估新兴云处理框架性能的全面评估指标是不可或缺的。传统的指标，如云检测的总体准确性（OA）（Y. Li等人，2020年）和云去除的均方根误差（RMSE）（Wang等人，2024年），对于评估可调节的云和阴影处理框架来说是不够的。

第二个挑战涉及构建适用于云相关任务的可靠数据集。获得时间对齐的多云和无云图像对仍然是一个主要瓶颈，阻碍了强大深度学习模型的发展。现有的数据集，如38-Cloud（Mohajerani和Saeedi，2019年）和RICE（Lin等人，2019年），空间覆盖范围有限，限制了训练模型的泛化能力。此外，模拟云数据集通常使用最近邻图像作为参考标签（Lin等人，2019年；Sarukkai等人，2020年；Meraner等人，2020年），在晴空区域引入了光谱差异，无法准确反映现实世界的云条件。此外，当前的基于深度学习的云处理方法主要依赖于架构的重用，对领域特定适应性的考虑有限。这些模型经常忽略云现象的关键属性，如随机分布、空间异质性和结构稀疏性（Xu等人，2025年；Enomoto等人，2017年），最终限制了它们在现实世界遥感场景中的有效性和适用性。

针对上述挑战，本研究提出了一个数据驱动的框架，旨在提供灵活的云处理解决方案，增加清晰像素的数量，并满足多样化的用户需求。首先，引入了一个可调节的云强度指数，以量化云层和阴影造成的干扰。为了确保云样本的全球代表性，将真实的云模拟策略应用于Landsat-8数据，从而构建了一个全面且特征丰富的云数据集。基于该数据集，使用深度注意力机制开发了一个单图像云强度估计网络（SCIENet），该网络有助于自动评估云强度指数。阈值可以灵活调整，允许对单幅光学图像进行可定制的云和阴影处理。此外，引入了一套评估指标，用于评估像素数量、数据质量和实际效用。本工作的具体贡献如下：

1. 我们引入了一个云强度指数，作为量化云和阴影干扰严重程度的稳健指标。指数的绝对值越高，表示遥感图像中的云和阴影污染程度越大。通过调整阈值，可以在云检测和去除之间实现最佳平衡，从而选择性地屏蔽密集云层，同时保留和重建薄云像素。
2. 我们构建了一个公开可访问的CloudL8-LC数据集（https://data-starcloud.pcl.ac.cn/iearthdata/59）。CloudL8-LC数据集包括多云图像、云掩膜、晴空图像、土地覆盖图和云强度指数，支持各种云相关任务，包括云检测、云去除和可调节的云处理。CloudL8-LC拥有超过52亿个像素，在数据覆盖范围上超过了现有的深度学习数据集，成为云处理和开发先进深度学习模型的基准资源。
3. 我们开发了一个基于注意力的SCIENet用于云强度估计，专门设计以适应云形成的固有变化性。为了增强特征提取，我们集成了一种相关性感知注意力模块（RAAM），该模块放大了强相关的特征，同时抑制了弱相关的特征。此外，还使用了一种基于门控的信道-空间特征剪除器（GCSFP）来减少特征冗余，从而提高了云强度预测的准确性。为了实际实现和可重复性，源代码和预训练模型在https://github.com/whuyuxia/CloudL8-LC上公开可用。

本文的结构如下：第2节介绍了云强度指数的概念，并详细介绍了CloudL8-LC数据集的构建过程。第3节概述了云处理方法的设计和相应的评估指标。第4节提供了实验结果的全面分析。第5节研究了传感器可转移性，并进行了消融研究和模型效率评估。最后，第6节总结了关键发现并总结了本文。

数据
云污染对遥感图像的质量和适用性构成了重大挑战。如图1(a)和(b)所示，对2000年至2024年的Landsat卫星图像的分析显示，完全无云的场景数量远少于可用图像的数量。在某些地区，几乎无法获得无云图像，这突显了云覆盖对全球遥感观测的普遍影响。

方法论
稳健的数据集是深度学习模型的基础，而可解释的神经架构对于实际部署至关重要（Murdoch等人，2019年；Vouros，2022年）。为了有效处理云，模型必须精确适应目标数据的特性（J. Li等人，2020年）。此外，严格的评估对于验证处理后多云图像的可靠性和实际效用是不可或缺的。为了解决这些问题，本节介绍了...

实验与分析
为了评估所提出的单图像云处理方法的有效性，我们进行了一系列全面的实验。为了确保严格的评估，我们使用了CloudL8-LC数据集作为基准。该数据集包含19,940个不重叠的补丁，分为15,753个用于训练，2,103个用于验证，2,084个用于测试。该数据集在https://data-starcloud.pcl.ac.cn/iearthdata/59上公开可用。为了系统地分析算法的性能...

传感器可转移性
所提出的CloudL8-LC数据集基于Landsat-8传感器构建，包含了六个选定的地表反射率波段。为了评估在这段数据集上训练的SCIENet的更广泛适用性，我们检验了它在多个Landsat传感器上的性能，具体包括Landsat-5 TM（Chander等人，2004年）、Landsat-7 ETM+（Claverie等人，2015年）、Landsat-8 OLI（Loveland和Irons，2016年）以及Landsat-9 OLI-2（Masek等人，2020年），这些传感器都位于相同的路径和行上。这些传感器涵盖了不同的波段和分辨率，因此可以提供更全面的云和阴影干扰分析。

在本文中，我们首先引入了一个云强度指数作为量化云和阴影干扰严重程度的稳健指标。该指数能够在保留受薄云层影响的像素的同时，选择性地屏蔽密集云层。其次，我们开发了公开可用的CloudL8-LC数据集，该数据集包含了多云图像、云掩膜、晴空参考图像、土地覆盖图以及云强度指数。这个全面的数据集支持广泛的科学研究和应用。

作者贡献声明：
Yu Xia：撰写——审阅与编辑，撰写——初稿，验证，方法论，资金获取，数据管理。
Tianwu Lin：撰写——初稿，方法论，数据管理。
Xiangyu Liu：方法论，数据管理。
Shuang Chen：方法论，数据管理。
Shuai Yuan：验证，方法论。
Geng Tian：数据管理。
Yang Xu：数据管理。
Wei Zhang：资金获取，数据管理。
Wei He：撰写——初稿，验证，方法论。
Jie Wang：撰写——审阅与编辑。

利益冲突声明：
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报告的工作。

致谢：
本研究得到了国家自然科学基金（项目编号42501581）、广东省重点研发计划（PCL2024A04）以及中国博士后科学基金（项目编号2025M780316）的共同支持。