分层频率适应机制在一体化图像修复中的应用

《Knowledge-Based Systems》：Hierarchical frequency adaptation for all-in-one image restoration

有效降解感知的适应性调整是统一图像修复的关键，但现有方法多仅建模空间域退化，忽视频率域更丰富的退化特征。本文提出分层频率驱动网络（HFre-Net），通过全局频率提示（FPM）模块建立退化上下文，再结合解码器的混合频率专家（MoFE）模块实现层级的自适应修复。FPM利用频域特征生成统一提示，指导整个修复流程；MoFE通过共享专家与频专家协同，动态路由特征以匹配退化特性。实验表明，HFre-Net在多种退化基准上显著优于基线方法，验证了分层频率驱动的有效性。

　　

杨武|叶登|惠思琪|刘宇涵|吴康毅|黄文莉|王金军

西安交通大学人工智能与机器人研究所，中国陕西省西安市西宁西路28号，710049

摘要

对于一体式图像恢复而言，有效的退化感知适应能力至关重要。然而，现有的方法通常仅在空间域对退化进行建模，常常忽略了频谱中包含的更具辨别性的信息。为了解决这一限制，我们提出了一个分层频率驱动网络（HFre-Net），该网络首先建立全局频率上下文以确定需要恢复的内容，然后通过逐层频率专家化来细化恢复方法。在全局层面，频率提示调制（FPM）模块分析输入频谱以生成统一的提示，为整个恢复流程提供自上而下的、基于退化的指导。在局部层面，混合频率专家（MoFE）被集成到每个解码器层中，以确定特征应该如何恢复。MoFE动态地将逐层特征路由到针对特定退化的频率专家进行适应性计算，而共享专家则建模任务不变的表示。全局频率提示与逐层专家化之间的协同作用使得在各种退化情况下都能实现精确且稳健的恢复。在多个基准测试上的广泛实验表明，我们的方法表现出优越的性能，验证了我们分层频率适应框架的有效性。代码将在https://github.com/wuyang2691/HFre-Net发布。

引言

图像恢复旨在通过去除雨污、噪声或雾气等各种退化，恢复出视觉上令人愉悦的高质量图像。它在自动驾驶、医学成像和遥感等众多下游应用中发挥着关键作用。尽管在开发特定任务恢复模型（如去雨[1]、去雾[4]、去噪[6]等）方面取得了显著进展，但这些方法通常仅限于处理预定义的退化类型和程度。这种特定任务的性质限制了它们的泛化能力和在现实世界场景中的实际应用，因为在这些场景中，退化的类型和严重程度往往是未知的。为了解决这一限制，一体式图像恢复成为一个有前景的方向，它旨在在一个统一的模型中处理多样且未知的退化，而无需预先了解输入图像中的损坏情况。

一体式图像恢复的一个主要挑战是不同类型的退化可能会引起相互冲突的恢复行为[9]、[10]、[11]、[12]。因此，这类模型的一个核心要求是能够准确区分各种退化并相应地调整其处理方式。最近的研究[9]、[13]、[14]、[15]、[16]试图通过引入退化先验来实现对多种退化的适应性处理。例如，AirNet[9]和IDR[17]通过对比学习提取退化表示，并利用它们来指导恢复流程。基于提示的方法[10]、[18]、[19]、[20]引入视觉或文本提示作为特定任务的先验，通过提示条件化的解码器实现适应性恢复。LDA[21]利用预训练的视觉-语言模型提取像素级别的退化线索，以选择不同退化类型的专家。MoCE-IR[22]进一步引入了一种任务复杂性感知的路由机制，动态地将退化输入分配给具有适当能力的专家，从而在单一网络中实现异构退化的统一处理。

尽管取得了这些进展，现有方法的一个共同局限是它们主要依赖于空间域的退化先验，这可能会忽略一个更基本且更具辨别性的信息来源——频谱域。在传统的残差学习恢复框架中，通常忽略退化图像与干净图像之间残差的频率特征。这种忽视是至关重要的，因为不同类型退化的残差在频谱中表现出明显且信息量大的特征。如图1所示，当将频谱分解为三个频段时，雨污、噪声和模糊等退化主要影响中间和高频段，而雾气和低光退化主要影响低频和中频范围。这些特定于退化的频率模式为自适应建模和恢复不同类型的退化提供了强有力的线索。

为了利用这些频谱域的线索，我们提出了HFre-Net，这是一个专为统一和自适应恢复多种退化而设计的分层频率驱动网络。该框架首先建立全局频率上下文以确定需要恢复的内容，然后应用逐层专家化来细化恢复方法。具体来说，在全局层面，我们提出了频率提示调制（FPM）模块，该模块分析输入频谱以生成一个统一的提示。这个提示利用细粒度的频段退化信息提供自上而下的上下文指导，校准所有解码器阶段以适应输入中的退化。在此全局指导的基础上，每个解码器层都嵌入了混合频率专家（MoFE）模块，以确定特征应该如何恢复。由于不同类型的退化表现出不同的频率特征，MoFE被设计为提供细粒度和适应性的计算，以适应不断变化的退化模式。MoFE由一个共享专家和$N$个频率专家组成。后者分析逐层退化模式，并动态地将特征分配给最合适的专家。每个频率专家专门针对特定类型的退化进行优化，通过选择性地增强与退化相关的频率成分同时抑制不相关的成分，而共享专家则捕获任务不变的表示，以确保在异构退化情况下的稳定和通用性能。

通过结合全局粗粒度频率提示和基于混合频率专家的细粒度专业化，HFre-Net在多种退化情况下实现了精确且稳健的恢复。在多个基准测试上的广泛实验表明，我们的频率驱动适应框架的有效性和泛化能力得到了验证。本工作的关键贡献总结如下：

• 我们提出了一个频率驱动的恢复框架，其中频率提示调制（FPM）模块提供自上而下的上下文指导，与逐层MoFE协同工作，实现稳健且有效的一体式恢复。
• 我们开发了混合频率专家（MoFE）模块，该模块将逐层特征动态路由到特定于退化的频率专家，同时共享专家建模任务不变的表示。这使得在不同类型的退化下实现细粒度的专业化和稳定的性能。
• 我们在多个退化基准测试上进行了广泛实验，证明所提出的HFre-Net在广泛的恢复任务中始终表现出优越的性能。

部分内容

单任务图像恢复

图像恢复的目标是从退化的观测图像中恢复出清晰的高质量图像。现有方法通常分为基于先验的方法和数据驱动的方法。基于先验的方法使用物理或统计假设来限制解决方案空间——例如，He等人[23]使用暗通道先验进行去雾——但这样的先验通常难以泛化到复杂的真实世界退化情况。相比之下，数据驱动的方法从退化的输入学习到干净目标的映射

整体流程

所提出的分层频率驱动网络（HFre-Net）的整体架构如图2所示。HFre-Net采用四阶段的U形非对称编码器-解码器框架，在统一框架内将多种退化的输入