Diff-Restorer：利用视觉提示实现基于扩散的通用图像修复

《IEEE Transactions on Circuits and Systems for Video Technology》：Diff-Restorer: Unleashing Visual Prompts for Diffusion-Based Universal Image Restoration

图像修复旨在从退化观察中恢复高质量图像，但现实退化复杂且耦合。现有方法难以泛化或需单独训练，本文提出基于扩散的通用框架Diff-Restorer，通过CLIP提取分离的语义和退化嵌入，前者指导生成以提升感知质量，后者调控控制模块确保结构保真。Task-aware Decoder实现结构修正与像素域转换，实验表明其优于现有方法。

　　

摘要：

图像恢复的目标是从退化的观测数据中恢复高质量的图像，然而现实世界中的图像退化现象复杂且相互关联，难以建模。现有的针对特定任务的方法难以泛化到未预定义的退化类型之外，而最近出现的一体化方法或基于提示的方法仍然面临三个关键挑战：1) 它们依赖于特定任务的训练或固定的提示集，限制了其对现实世界和混合退化的适应性；2) 需要人工指导或隐式提示机制，使得这些方法在实践中难以使用；3) 它们往往无法在结构保真度和感知真实性之间取得平衡。为了解决这些问题，我们提出了Diff-Restorer，这是一个基于扩散的通用图像恢复框架，能够在单一模型中统一处理多种类型的图像退化。Diff-Restorer能够从视觉语言模型（CLIP）中自适应地提取解耦的视觉提示，这些提示包含清晰的语义信息和退化特征。清晰的语义信息作为内容提示，指导扩散模型进行生成，从而提高图像的感知质量；而退化特征作为任务标识符，调节图像引导控制模块，确保图像结构的准确性。此外，我们还设计了一个具有任务意识的解码器，用于进行结构校正并将潜在代码转换为像素域。在各种单一退化、真实世界退化和混合退化任务上的广泛实验表明，Diff-Restorer在泛化能力、真实感和保真度方面均优于现有的最先进方法。

引言

图像恢复旨在从退化的观测数据中恢复高质量的图像，在摄影、监控、自动驾驶和医学成像等领域发挥着重要作用。由于退化类型的多样性，图像恢复涉及多种具体的子任务，包括去模糊[1]、去噪[3]、去雨[5]、去雾[7]、图像增强[10]等。此外，现实世界中的图像退化现象更为复杂，通常是多种退化同时存在而非单独出现。因此，一个实用的恢复模型应该能够在统一的框架内处理各种类型的图像退化。然而，一些现有的方法仍然难以实现这一目标。早期的恢复方法[1]、[3]、[6]、[8]、[10]、[13]、[14]都是为特定的退化类型设计的。尽管这些单任务方法在其各自的应用范围内取得了良好的效果，但在退化情况不可预测的情况下，它们在实际应用中面临许多挑战。为了解决这些问题，一些方法[15]、[16]、[17]试图设计一个基础模型来处理不同的子任务，但这些方法需要对每个具体任务进行单独训练，缺乏跨任务的适应性。