事实：通过频率自适应一致性调整来实现高效的零样本统一图像恢复

《Neurocomputing》：FACT: Frequency adaptive consistency tuning for efficient zero-shot unified image restoration

　　

朱志东|熊邦树|于淑珍|朱金浩|饶志波|欧巧峰|李星|李伟

北京航空航天大学仪器与光电工程学院，中国北京100191

摘要

零样本统一图像恢复旨在在没有成对训练数据的情况下，从多种未知的图像退化中恢复高保真度图像。然而，现有的基于扩散的方法存在推理延迟过长以及难以在空间域中将退化与图像内容分离的问题。为了解决这些限制，我们提出了频率自适应一致性调整（FACT）算法，以实现高效的零样本统一图像恢复。与需要数千次迭代步骤的扩散模型不同，FACT利用预训练的一致性模型直接进行流形映射，将推理过程压缩到简洁的阶段。为了确保在这一加速过程中实现高保真度恢复，我们引入了频率自适应退化解耦（FADD）模块。通过在测试时动态优化一个可学习的频谱掩码，FADD在频率域中将退化异常与图像的固有内容分离，从而精确注入生成先验，同时严格保留结构相位信息。此外，基于提示库的无监督损失使得无需显式标签即可进行退化无关的恢复。在低光照增强、去雾和去噪方面的广泛实验表明，FACT以最先进的感知性能提供了更真实的视觉恢复效果，仅用120次一致性步骤就取代了1000次扩散采样，同时将端到端推理时间减少了高达87.2%。代码将在https://github.com/Archaic-Atom/FACT中公开。

引言

零样本统一图像恢复（ZSUIR）旨在在没有成对监督或预定义退化模型的情况下，从多样且以前未见过的退化中恢复高质量图像[1]、[2]。与通常针对单一任务[3]、[4]、[5]、[6]（如低光照增强或去雾）定制的传统零参考方法不同，ZSUIR必须在开放集环境中运行，其中退化源是异构的、相互关联的，并且难以提前表征。这个问题与现实世界的多媒体系统[7]、[8]、[9]密切相关，因为收集每种可能的照明变化、大气散射和传感器噪声组合的成对数据在实践中是不可行的。最近的研究，包括GDP[10]、TAO[11]和LD-RPS[12]，已经证明强大的预训练生成先验为在无监督恢复中连接退化观测和自然图像流形提供了有效途径。

目前，ZSUIR的主要解决方案是利用预训练的去噪扩散概率模型（DDPMs）[13]、[14]作为生成先验。代表性方法将恢复过程表述为后验采样，并在测试时调整生成过程以适应未知的退化。尽管这些方法在感知质量上很有前景，但它们仍然受到扩散采样固有迭代性质的约束。如图1(a)所示，它们通常需要近1000次去噪步骤来遍历概率流轨迹[11]、[12]、[15]，这导致推理延迟过长。更重要的是，简单地缩短轨迹通常会导致恢复效果崩溃，因为退化模式和图像的固有内容在空间域中仍然紧密纠缠。在有限的迭代预算下，空间优化[16]往往无法区分有效纹理和噪声，或者无法将低频退化偏差与真实场景结构分开。

为了克服这一瓶颈，我们提出了频率自适应一致性调整（FACT），这是一个基于预训练一致性模型（CMs）[17]构建的高效零样本统一图像恢复框架。与依赖密集数值积分的扩散模型不同，一致性模型[18]可以直接学习流形映射，并且如图1(a)所示，只需一步或几步就能生成高质量假设。通过用基于一致性的直接预测替代基于扩散的迭代细化，FACT显著压缩了推理过程，同时保留了强大的预训练生成先验的优势。这使得在效率至关重要的实际应用中，盲恢复变得更加可行。

此外，模型还必须在非常短的采样轨迹内将未知的退化与有效的图像内容分开。如图1(b)所示，由于观察到不同的退化占据不同的频谱带[16]、[19]，我们引入了频率自适应退化解耦（FADD）模块，将优化过程从纠缠的空间域转移到频率域。FADD不是全局混合频谱，而是动态预测特定实例的频谱掩码，并在保持输入相位作为结构锚点的同时，选择性地将生成先验注入到损坏的幅度中。这种自适应机制使得退化去除更加精确，并避免了长时间扩散调度通常所需的过度平均行为。

在这种零样本设置中的另一个挑战是如何在没有真实参考或显式退化标签的情况下提供有效的监督。现有的语言引导恢复方法[12]通常依赖于特定于图像的描述或退化感知的提示，当退化类型未知时，这些描述可能会变得模糊。相比之下，我们构建了一个轻量级的提示库，包含描述理想恢复图像的正面提示和描述退化视觉状态的负面提示。通过将恢复结果与正面提示库匹配，并在CLIP空间中将其与负面提示库区分开来，FACT获得了不需要提前识别确切退化类别的退化无关的语义约束。由于这种语义指导是通用且互补的，我们将其视为稳定简洁一致性采样过程的辅助组件，而不是主要的改进来源。

本文的主要贡献总结如下：

•

我们提出了FACT，一个零样本统一图像恢复框架，它用基于一致性的直接流形映射替代了基于扩散的长视野采样，显著提高了恢复效率。

•

我们引入了FADD，一个频率自适应退化解耦模块，它可以动态隔离以退化为主导的频谱成分，并在保持结构相位的同时精确注入生成先验。

•

我们通过结合随机一致性采样、提示库引导的CLIP监督和轻量级物理正则化，开发了一个不受退化影响的测试时目标，提高了盲恢复的鲁棒性。

•

在低光照增强、去雾和去噪方面的广泛实验表明，FACT在简洁的1-20步一致性采样过程中实现了具有竞争力的感知恢复质量，同时大幅减少了端到端推理时间。

章节片段

零样本统一图像恢复

能够处理多种退化的统一图像恢复已经从有监督模型[8]、[15]、[19]、[20]、[21]发展到盲零样本[5]、[23]、[24]、[25]、[26]范式。早期的有监督方法[19]、[20]、[21]通过对比学习或动态提示引导成功建立了统一架构。虽然这些方法在封闭集基准测试中取得了令人满意的性能，但它们依赖于

方法

在本节中，我们介绍了提出的频率自适应一致性调整（FACT）框架，用于零样本统一图像恢复。首先，我们建立了生成一致性先验，利用直接流形映射将推理过程压缩到简洁的阶段。随后，我们详细介绍了频率自适应退化解耦（FADD）模块，该模块旨在在频率域中精确隔离退化异常。最后，我们将这些组件集成到一个

实验

我们对低光照增强、去雾和去噪进行了全面实验，以评估所提出的FACT。首先，我们在成对的合成基准测试上验证了定量性能，并在多样化的非成对真实世界数据集上验证了零样本泛化能力。此外，我们还进行了深入的消融研究和计算效率分析。

结论

在本文中，我们提出了FACT，这是一个简化了的零样本统一图像恢复框架，它在推理效率和恢复保真度之间取得了平衡。通过利用一致性模型，我们从迭代扩散细化过渡到直接流形映射，将推理延迟减少了几个数量级。为了解决这一加速过程中的空间纠缠瓶颈，我们引入了频率自适应退化解耦（FADD）模块，该模块可以隔离

CRediT作者贡献声明

朱志东：撰写——原始草稿、软件、方法论、概念化。熊邦树：撰写——审阅与编辑、监督、资金获取、概念化。于淑珍：撰写——审阅与编辑、可视化。朱金浩：验证、数据管理。饶志波：撰写——审阅与编辑、验证、资金获取。欧巧峰：可视化、资金获取。李星：撰写——审阅与编辑、资金获取。李伟：撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

朱志东目前在中国北京航空航天大学攻读仪器科学与光电工程博士学位。他于2020年在西北工业大学获得了信号与信息处理硕士学位。他的研究兴趣包括图像恢复、多模型融合和通用视觉模型。