用于海洋图像去雾的特征增强与融合互补调制模型

《Optics & Laser Technology》：Feature enhancement and fusion complementary modulation model for maritime image dehazing

针对海事光学成像系统中雾天图像质量退化问题，本文提出特征调制图像去雾模型FMID，通过双注意力残差块融合多尺度特征，有效恢复海天空界和船只轮廓，实验表明其性能优于多项SOTA方法，显著提升船检与场景分割等下游任务精度。

　　

王宇博|尤在金|夏曦|周静春|李永清

大连海事大学导航学院，中国大连116026

摘要

海洋光学成像系统对于环境感知和关键海上任务的执行至关重要。然而，在雾天场景中，光学成像设备总是会捕捉到质量下降的图像，如能见度差、细节丢失和颜色失真。为了有效提高成像质量，我们提出了一种特征调制去雾模型（FMID），旨在恢复雾天场景中视觉信息的可靠性。该模型的核心是双注意力残差块（DARB），它包含一个特征增强通道注意力（FECA）模块和一个融合互补空间注意力（FCSA）模块。FECA利用多尺度卷积来学习动态通道权重，有效聚合上下文信息。FCSA整合多尺度特征以获得空间注意力权重，并沿水平和垂直方向提取互补信息，从而准确重建结构细节。在标准和海洋相关数据集上的广泛实验表明，FMID可以超越几种现有方法，提高成像质量，并有效改善基于视觉的海上任务的性能，包括船舶检测和海洋场景分割，为海上交通和智能港口监控提供了坚实的技术保障。

引言

海洋光学成像系统在港口监控、海洋物体检测和导航辅助等关键应用中不可或缺[1]。然而，频繁的雾霾灾害严重影响了光学成像设备的正常运行[2]，[3]。如图1所示，在雾天场景中，捕获的图像通常会出现质量下降的问题，如模糊、颜色丢失和对比度低。低质量的图像会削弱海洋管理者的危险识别能力，降低物体检测的可靠性，甚至增加海上事故的风险。此外，低质量的图像还会给多传感器数据融合带来困难[4]，[5]，影响智能无人水面车辆的感知、路径规划和决策[6]。因此，恢复图像质量以提高海洋光学成像系统在雾天场景中的鲁棒性至关重要。

图像去雾是计算机视觉领域长期面临的挑战性任务，其目标是从模糊的图像中恢复清晰的图像，在高级任务中具有重要的应用价值[7]，[8]。然而，这是一个病态问题，因为单一输入可能对应多种解决方案。为了实现准确的去雾效果，人们提出了许多基于观测的传统手工先验方法，例如代表性的暗通道先验（DCP）[9]、颜色衰减先验（CAP）[10]、非局部先验（NLP）[11]和饱和度线先验（SLP）[12]。尽管这些基于先验的方法提高了雾天图像的可见度，但在违反先验假设的复杂环境中可能会产生不满意的结果。此外，这些方法中的各种参数需要调整才能针对不同的雾天图像获得理想的结果。

为了解决上述问题，深度学习得到了大力发展。数据驱动的卷积神经网络（CNN）、生成对抗网络（GAN）和Transformer网络已被广泛用于图像去雾[13]，[14]，[15]，[16]。CNN在局部特征提取和归纳偏见方面具有一定的优势，为视觉任务奠定了基础。GAN通过反复的对抗训练改善了生成结果。Transformer网络凭借其全局建模和多头自注意力迅速崛起。这些基于学习的方法实现了雾天图像与去雾图像之间的端到端映射[17]，[18]，[19]，[20]。然而，它们也有一些局限性。由于感受野的限制，CNN无法捕捉图像中的长距离依赖关系。GAN在对抗过程中容易导致训练不稳定。使用Transformer网络追求全局信息会导致训练和推理速度变慢，以及对训练数据量的要求更高[16]，[17]，[18]，[19]，[20]，[21]，[22]。

最近，为了应对海洋环境的独特挑战，人们越来越关注开发专门针对海洋场景的去雾方法。郭等人[23]引入了一种异构双去雾模型，以提高海洋视频监控的可见度。曲等人[24]提出了一种在低能见度天气下用于海洋管理提升的学习参数共享增强模型。刘等人[25]开发了一种实时多场景可见度增强模型，以提高船舶的航行安全性。虽然这些针对海洋的具体方法在改进通用去雾模型方面取得了成功，但仍然面临关键瓶颈。由于海雾密度极不均匀，现有模型有时难以在强大的空间依赖性与精确的通道级上下文之间取得平衡，偶尔会产生明显的边缘梯度伪影或在天空区域出现失真。为了提高雾天场景中的海洋成像质量，我们提出了一种有效的特征调制去雾模型（FMID）。我们开发或借鉴了许多复杂的功能单元来提高去雾模型的性能，如编码器-解码器架构、注意力机制、残差连接和深度卷积[26]，[27]。我们的核心创新在于双注意力特征调制策略，旨在自适应地调节局部和全局特征，以实现更好的去雾效果和细节恢复。双注意力残差块（DARB）同时解决了去除密集雾气和保持精细海洋结构的双重挑战。具体来说，我们提出了一个特征增强通道注意力（FECA）模块，该模块利用多尺度卷积实现更大的感受野，使其能够收集足够的上下文信息以学习动态的通道级权重。这使得模型能够有效区分与雾相关的特征和清晰的场景内容，迫使模型在严重退化的区域分配更多注意力来恢复颜色保真度。此外，我们开发了一个融合互补空间注意力（FCSA）模块，通过融合多尺度特征获得初步的空间权重，然后沿水平和垂直方向提取互补特征，动态细化这些权重。这种空间细化明确针对由雾引起的几何退化，显著改善了经常被模糊的重要结构细节的重建，如清晰的海天边界和远处船舶的精确轮廓。

我们的FMID能够生成高质量的海洋雾天场景恢复图像，有效提高基于视觉的海上任务的性能。本研究的主要贡献总结如下：

1)

我们提出了一种有效的特征调制去雾模型（FMID），旨在提高雾天场景中的成像质量。通过执行双注意力特征调制，FMID可以有效地提取局部和全局特征以实现去雾。

2)

我们提出了一个特征增强通道注意力（FECA）模块，以在通道间稳健地收集多尺度上下文信息，使模型能够关注关键信息，如船舶和港口建筑。

3)

我们开发了一个融合互补空间注意力（FCSA）模块，通过利用来自水平和垂直方向的互补线索动态指导多尺度空间特征的聚合，重建纹理信息和结构细节。

4)

广泛的实验表明，FMID在标准和海洋相关数据集上均表现出优越的性能，在定量和定性分析中超越了几种现有方法。此外，我们验证了FMID增强后的图像显著提高了基于视觉的下游任务的准确性和可靠性，证明了其重要的应用价值。

本工作的其余部分组织如下。第2节回顾了基于先验的方法、基于学习的方法和注意力机制。第3节详细介绍了我们的FMID。第4节给出了实验结果和应用。第5节提供了结论。

节选

文献综述

图像去雾方法主要分为两类：基于先验的方法和基于学习的方法。在本节中，我们将介绍这两种方法及注意力机制。

提出的方法

在本节中，我们介绍了所提出的FMID。首先，我们概述了模型的整体流程。然后，我们详细介绍了核心模块：FECA和FCSA。最后，我们介绍了损失函数。

实验

本节介绍了实验实现的细节，包括训练/测试数据集、评估指标、实验平台和竞争方法。为了展示FMID的优势，我们在标准和海洋相关数据集上与现有方法进行了定量和定性比较。我们还进行了多项消融实验来验证模型的合理性。此外，我们将FMID应用于常见的海洋监控任务，证明了其有效性。

结论

在这项工作中，我们提出了一种有效的特征调制去雾模型FMID，可以提高海洋光学设备在雾天场景中的成像质量。特别是，我们设计了FECA和FCSA来利用模型的去雾潜力。FECA在多个尺度上收集通道维度的上下文信息。FCSA在水平和垂直分支中提取互补信息，动态指导从聚合特征中获得的空间注意力权重。

CRediT作者贡献声明

王宇博：写作 – 审稿与编辑、撰写原始草案、可视化、方法论、研究。尤在金：写作 – 审稿与编辑、监督、资源管理、项目管理、方法论、概念化。夏曦：写作 – 审稿与编辑、可视化。周静春：监督、项目管理。李永清：写作 – 审稿与编辑、研究。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中央高校基本科研业务费（项目编号：3132023504）和国家自然科学基金（项目编号：62301105）的支持。