对比学习与蒸馏辅助的非配对真实图像去雾

《Engineering Applications of Artificial Intelligence》：Contrastive and distillation-assisted unpaired real-world image dehazing

　　

Zhixuan Sun|Wenbin Xiong|Yingguang Hao|Hongyu Wang

中国大连市凌工路2号，大连工业大学信息与通信工程学院，邮编116024

摘要

在合成数据集上，基于监督的图像去雾方法表现出优异的性能，能够实现细致的图像恢复效果。然而，配对训练策略在应用于真实世界的模糊图像时往往效果不佳。现有的生成式方法虽能处理某些现实场景，但常常会出现生成幻觉的问题。为解决这些问题，我们提出了一种基于蒸馏辅助的无配对对比去雾框架。与以往方法不同，我们利用在合成数据域预训练的教师网络来引导块级对比学习，从而在保持内容不变性的同时，进一步捕捉配对数据之间的细微映射关系。同时，为了充分捕捉真实世界模糊场景的特征，我们在频域中使用无配对的清晰图像和真实模糊图像进行图像级对比学习，从而生成视觉效果更好的去雾结果。此外，我们还设计了一种全新的谱奇异值分解去雾模块（SSDB），该模块能够自适应地增强与场景相关的成分，同时抑制与雾气相关的特征，从而实现更清晰的图像恢复。我们在两个有监督数据集以及两个具有挑战性的无监督数据集上对所提方法进行了评估，采用了多种全参考和无需参考的图像质量指标，并结合了主观视觉评估。实验结果表明，我们的方法性能优于现有的最先进方法，具有更出色的去雾效果。我们的代码地址如下：https://github.com/GaliXuan/CDA-Dehaze.

引言

雾是一种普遍存在的大气现象，它会显著降低能见度，并在不同程度上降低图像质量。质量较差的模糊图像会对各种视觉系统产生负面影响，包括物体检测（W.T. Chen等人，2022年）、视频跟踪（Wu等人，2016年）以及自动驾驶（Wang等人，2023年）。因此，图像去雾是许多实际应用中的重要预处理步骤。

早期的图像去雾方法主要基于大气散射模型（ASM）（Middleton，1952年；McCartney，1976年；Fattal，2008年；Tan，2008年），该模型通过估算传输图和全局大气光来建立模糊图像与其清晰版本之间的关系。随后，暗通道先验（DCP）（He等人，2010年）被提出作为一种强大的去雾技术，并且展现了出色的效果。然而，在复杂的真实场景中，当这些方法的假设被打破时，它们往往会导致严重的图像失真。深度学习的出现为图像去雾提供了新的方向。基于深度网络的去雾模型（Li等人，2017年；Liu等人，2019年）通常依赖于配对的合成数据集，学习从模糊图像到清晰图像的端到端映射关系。此外，引入基于变换器的架构（Guo等人，2022年；Song等人，2023年）通过利用自注意力机制来建模像素间的长距离依赖关系，显著提升了去雾性能。与传统技术相比，这些方法展现了更优异的去雾效果。

尽管基于深度学习的去雾方法在合成数据集上表现良好，但当应用于真实世界的模糊图像时，它们的泛化能力往往较差。出于实际需求，一些研究人员开始转向无监督学习来提升真实场景下的去雾性能。有一些方法扩展了基于CycleGAN的框架（Zhu等人，2017年；Engin等人，2018年；Anvari和Athitsos，2020年）用于图像去雾。然而，这类生成基线方法往往会产生幻觉结果，无法恢复雾气背后的真实背景信息。虽然UCL-Dehaze（Y. Wang等人，2024年）采用了对比学习来减轻生成网络中的幻觉问题，但由于对生成器的监督不足，它仍然会生成原始图像中不存在的纹理细节。最近，有一些方法（Wu等人，2023年；Fu等人，2025年）通过建立高质量的代码本映射实现了真实场景下的去雾效果。不过，这类方法中的颜色映射受到预定义代码本库的限制，仍然会导致局部颜色不一致的问题。PSD（Z. Chen等人，2021年）通过结合合成数据预训练和手动损失函数调整，展现了良好的性能。然而，其对手工设计的损失项的依赖带来了由先验条件导致的限制，这些限制往往表现为颜色饱和度不平衡。

在本文中，我们提出了一种名为CDA-Dehaze的新型对比学习与蒸馏辅助无配对去雾框架。该框架基于生成对抗网络，整合了蒸馏学习和对比学习方法，从而获得更加稳定且符合人类视觉习惯的去雾效果。具体而言，与那些直接回归特征的现有蒸馏方法不同，我们提出了一种基于蒸馏辅助的对比学习策略。教师网络（在合成数据上预训练）被冻结，用于指导在特征空间中构建正负样本对。这样既能保持内容不变性，又不会直接传递合成数据中的雾气分布，从而避免幻觉现象，如图1(b)所示。同时，为了提升真实模糊场景的视觉质量，我们在频域中进行图像级对比学习，分别使用无配对的清晰图像和真实模糊图像作为正负样本。此外，我们还开发了谱奇异值分解去雾模块（SSDB）来进一步提升去雾能力。SSDB能够自适应地增强与场景相关的成分，同时抑制与雾气相关的成分，从而有效去除雾气，帮助生成更清晰的图像。充分的实验表明，我们的框架不仅能够以蒸馏辅助的方式学习有效的逐像素映射关系，而且由于采用了有效的无监督学习策略，其性能还超过了教师网络。

我们工作的主要贡献如下：

• •
  我们提出了一种名为CDA-Dehaze的新型无配对去雾框架，该框架结合了知识蒸馏和对比学习，解决了生成对抗框架中的幻觉和不稳定问题，能够在真实场景中实现清晰自然的去雾效果。
• •
  我们从能量分解的角度引入了一种全新的谱SVD去雾模块（SSDB）。通过自适应调整不同的奇异值分量，SSDB能够强化与场景相关的特征，同时有效抑制雾气的影响。
• •
  我们在多个合成数据集以及具有挑战性的真实世界去雾数据集上，使用了多种全参考和无需参考的图像质量指标进行了全面评估。结合人类主观评估，我们的CDA-Dehaze方法性能优于现有的最先进方法。

章节节选

单幅图像去雾

早期的图像去雾方法，以大气散射模型（ASM）（Middleton，1952年；McCartney，1976年；Fattal，2008年；Tan，2008年）和暗通道先验（DCP）（He等人，2010年）为代表，严重依赖先验知识。随着深度学习的发展，卷积神经网络（CNN）越来越被用于去雾任务。AOD-Net（Li等人，2017年）通过联合预测大气光和传输图，实现了轻量级的去雾效果。GridDehazeNet（Liu等人，

方法

在本节中，我们首先介绍我们所构建网络的流程，然后阐述无监督对比学习在该网络中的运作方式。之后，我们会介绍谱SVD去雾模块（SSDB）。最后，详细说明CDA-Dehaze的架构设计。

数据集

为了验证我们方法的有效性，我们使用了SOTS（合成物体测试集）（Li等人，2018年）、RTTS（真实世界任务驱动测试集）（Li等人，2018年）、HSTS（混合主观测试集）（Li等人，2018年）、URHI（未标注的真实模糊图像）（Li等人，2018年）以及NH-HAZE（Ancuti等人，2020年）等数据集进行实验。

合成数据集。为了评估模型的准确性并检验幻觉问题，我们使用了配对的合成图像进行测试。我们进行了评估，并

局限性及未来工作

尽管我们的模型在真实世界的去雾场景中取得了不错的效果，但仍有一些需要解决的挑战。虽然我们的网络在处理轻度雾气时表现良好，但在去除某些区域的浓重雾气时仍存在困难。如图5的第一行所示，当面对浓重雾气条件时，我们的CDA-Dehaze方法难以取得令人满意的结果。这一局限性可能需要针对性的训练数据以及专门的网络设计。

结论

在这项工作中，我们提出了CDA-Dehaze，这是一种新型的对比学习与蒸馏辅助学习框架，用于图像去雾。通过蒸馏学习获取合成数据域的知识，我们的方法还采用了基于蒸馏辅助的块级对比学习，将经过监督学习的教师网络的逐像素恢复能力转移到学生网络中，从而实现了比教师网络更出色的去雾效果。为了进一步提升视觉质量，我们还加入了

CRediT作者贡献声明

Zhixuan Sun：撰写——审阅与编辑，撰写——初稿。Wenbin Xiong：可视化，验证。Yingguang Hao：形式分析。Hongyu Wang：资金筹集。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Hongyu Wang表示其得到了大连市科技创新基金的资金支持。其他作者则声明他们没有已知的可能影响本文所述工作的财务利益或个人关系。