一种具有全局-局部交互作用及边缘感知增强功能的多变量校准框架，用于声纳图像去噪

《Image and Vision Computing》：A multivariate calibration framework with global-local interaction and edge-aware enhancement for sonar image despeckling

　　周欣|庞向远|马浩凯|宁博|王彦豪中国辽宁省大连市凌海路1号大连海事大学信息科学与技术学院，邮编116026摘要在水下环境中的声呐图像采集过程中，斑点噪声会严重降低图像质量，从而影响基础设施监测和灾后评估等关键任务的准确解读。为应对这一挑战，我们提出了一种新的多变量校准架构，以克服现有声呐图像去斑方法的局限性，包括对单一网络架构的依赖以及忽视图像间的相关性。该方法通过基于成像原理优化输出，并引入多变量校准框架来校正各分量之间的关系，有效减少了去斑过程中的信息损失。同时，结合全局-局部交互策略与边缘感知增强技术，全面提取声呐图像的特征信息。为进一步提升该方法的效果，我们设计了一种新的损失函数，用于考虑多变量校准过程中的图像内容损失、身份损失和零损失问题，从而实现更精确的优化，提高声呐图像的去斑性能。在真实的声呐图像数据集上的大量实验表明，与现有的最先进方法相比，我们的方法取得了更好的去斑效果。引言随着自然灾害和人为灾害的频发，尤其是在复杂多变的环境中，迫切需要可靠的监测和预警系统。水下领域在灾害预防和减灾方面具有重要意义，可用于检查水下基础设施（如管道、水坝、海上平台）、检测危险物质以及评估灾后状况。由于能够在光学传感器无法使用的浑浊和能见度低的水域中工作，声呐成像系统在这些应用中不可或缺[1]、[2]。然而，声呐图像会受到环境干扰、传感器限制以及声学干扰等多种噪声源的严重影响而质量下降。其中，与信号相关的斑点噪声尤其有害，因为它会掩盖结构细节，影响后续用于损伤评估、风险分析和决策制定的视觉分析的可靠性。因此，有效的噪声抑制是推进水下灾害管理中视觉数据分析的前提。在当前的水下灾害响应和检测工作中，声呐图像通常作为人工解读、水下物体检测、碎片定位、水下基础设施检查以及灾后评估的前端视觉输入。实际上，这些工作流程往往在应用人工解读或检测算法之前，就依赖于原始声呐图像或经过传统增强的图像。然而，强烈的斑点噪声、声学散射、平台运动以及复杂的海底背景都可能削弱物体边界，掩盖小型危险目标，降低碎片检测、损伤评估和风险评价等下游任务的可靠性。尽管大多数现有的去斑方法能够改善视觉质量或定量指标，但它们并未充分考虑现实世界灾害管理场景中的应用需求。在这些应用中，可靠的解读不仅取决于噪声抑制，还取决于保留声呐图像中的弱结构细节、物体轮廓和边缘信息。这反映出现有的去斑方法与灾害响应系统的需求之间存在实际差距，因为人们期望经过去噪的声呐图像能够为强大的下游感知和决策提供支持。传统的图像去噪方法主要在空间域或变换域中进行操作。空间域技术[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]通过對相邻像素应用加权平均来减少噪声，能有效抑制盐粒状噪声[12]或高斯噪声[13]等简单类型的噪声，但在处理斑点等复杂图案时往往会使细节过度平滑并模糊边缘。变换域方法[14]、[15]、[16]通过在不同域（如频率域或小波域）中分解多尺度特征，更有效地保留边缘，但由于其全局变换过程，有时会引入边缘伪影。这些在适应性和性能一致性方面的固有局限促使人们开始采用基于深度学习的方法，这类方法利用数据驱动的特征学习来应对多种类型的噪声，同时保持结构的完整性。随着深度学习的进步，尤其是卷积神经网络因其出色的特征提取能力而被广泛使用，许多基于CNN的去斑方法[17]、[18]、[19]、[20]、[21]、[22]、[23]应运而生，取得了更好的去斑效果。与传统方法相比，基于CNN的方法在保留图像信息方面更为有效。然而，CNN通常只关注相邻像素之间的关系，缺乏提取全局特征的能力，而这也会对去斑过程产生显著影响。为解决这一局限，研究人员将基于Transformer的模型[24]、[25]应用于去斑任务。凭借其强大的全局建模能力，Transformer能够有效捕捉图像中的长距离特征，减少复杂噪声图像中有用信息的丢失。不过，Transformer的自注意力机制在捕捉局部特征方面存在不足。为了结合两种方法的优点，有一些尝试[26]将Transformer和CNN结合起来用于图像去噪任务。然而，声呐图像中噪声分布的固有复杂性严重制约了这些方法的效果。级联的CNN-Transformer架构往往忽视了全局和局部上下文之间的跨尺度特征相互作用，最终降低了去斑效率。除了监督学习之外，还有一些研究探索了无需配对干净和噪声图像的自监督方法，例如基于邻域采样的NSC-SSNet[27]。虽然这些方法缓解了获取真实数据的问题，但它们的去斑性能仍然落后于监督学习方法，尤其是在保留复杂声呐场景中的精细结构方面。为更好地适应声呐图像的独特特性并满足灾害管理应用的需求，我们提出了一种新的去斑方法，该方法整合了全局-局部交互模块和边缘感知增强模块，能够在最小化关键信息损失的同时实现更全面的特征提取。前者有助于协同学习上下文模式和局部细节，而后者则通过嵌入边缘先验来保持结构完整性。此外，我们还提出了一个多变量校准框架，通过逐分量特征对齐和迭代误差校正来动态优化去斑输出。这种双重优化机制确保了特征的稳健表示，显著提升了去斑性能，尤其是在处理斑点噪声和保留声呐图像中的精细纹理方面。我们的主要贡献如下：1. 新型去噪框架：根据噪声图像的建模特点，我们采用多变量校准方法来优化训练结果。将噪声图像分解为干净图像、与信号相关的噪声以及与信号无关的噪声。此外，还设计了三种不同的组合方式并将其输入到多变量校准框架中。通过基于输入图像和输出图像之间的相关性信息来校准去斑过程，提高了参数学习过程的准确性。2. 双分支融合模块：在多变量校准框架内，我们为去斑网络提出了一种名为Swin-RDConv（SC）块的集成模块，该模块策略性地结合了全局-局部交互模块和边缘感知增强模块。全局-局部交互模块利用Swin Transformer独特的滑动窗口机制，通过循环窗口移位和合并操作实现跨尺度信息交换，借助协同学习机制实现多尺度特征融合。与此同时，边缘感知增强模块通过残差差分CNN架构明确编码边缘感知先验，该架构通过分析斑点噪声区域的梯度差异来增强纹理边界的辨识度。这种双分支集成确保了从声呐图像中全面提取特征，有效抑制噪声放大，同时保持结构完整性。3. 特征一致性校准损失函数：在训练过程中，我们设计了一种新的损失函数，它不仅考虑图像内容损失，还纳入了身份特征损失和零损失。这有助于保持局部和全局图像特征之间的关系，同时保留声呐图像的详细信息。4. 出色的实证性能：我们进行了大量实验，将所提出的方法与最先进的去斑方法在合成光学噪声数据集以及真实的正向声呐和侧扫声呐数据集上进行比较。实验结果表明，所提出的方法取得了最佳的去斑性能。此外，我们还验证了多变量校准过程在传统去噪网络中的有效性。最后，我们将去斑方法作为声呐图像目标检测的预处理步骤，证明在所有评估指标中，所提出的方法在检测精度方面均表现最佳。相关研究传统的声呐图像去斑方法主要依赖于基于滤波的技术。金等人[9]提出了一种基于结构稀疏性的去斑算法，该算法能有效消除侧扫声呐图像中的非均匀噪声，同时保留自然的海底纹理特征。陈等人[10]通过自适应3D块匹配滤波增强了BM3D框架，证明了其在侧扫声呐应用中更出色的斑点噪声抑制性能。韩等人[11]进一步多变量校准框架一般来说，一幅噪声图像可以表示为干净图像Ic、与信号相关的噪声Nd以及与信号无关的噪声Ni[28]，如方程（1）所示：In=Ic+IcrNd+Ni。通过调整不同的组成部分，上述模型可以表示各种类型的噪声，如斑点噪声和泊松噪声[29]。这为我们的多变量校准方法提供了理论基础。传统的单目标去斑范式往往忽视输出校准，从而导致结果失控数据集所提出的去斑网络遵循监督学习范式，需要配对的噪声图像和干净图像作为训练数据。然而，在现实环境中获得完全无噪声的声呐图像极为困难，这使得构建大规模的配对声呐训练数据集变得十分棘手。为了解决这一限制，我们通过在高质量干净的光学图像中添加类似声呐的斑点噪声来合成配对训练样本。需要强调的是，使用光学图像……结论本文提出了一种用于声呐图像去斑的双分支多变量校准框架，该框架整合了一个SC块模块以及两个协同工作的组件：全局-局部交互组件利用滑动窗口自注意力机制，通过循环窗口划分和移位操作，分层建模像素之间以及局部窗口的空间依赖关系；而边缘感知增强组件则通过梯度引导的差分卷积来保持结构边界。这两个并行分支通过CRediT作者贡献声明周欣：写作——审阅与编辑，写作——初稿，指导，方法论，概念设计。庞向远：写作——审阅与编辑，写作——初稿，可视化，验证，指导，软件，项目管理，方法论，研究，概念设计。马浩凯：研究，数据整理。宁博：指导，研究，形式分析。王彦豪：指导，研究。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文所报告的工作。