基于傅里叶引导的注意力上采样技术在图像超分辨率中的应用

《Image and Vision Computing》：Fourier-guided attention upsampling for image super-resolution

　　

崔大俊|卢友灿|李镇亨|金德洙

韩国技术教育大学（KOREATECH），全罗南道天安市，31253，大韩民国

摘要

我们提出了傅里叶引导注意力（FGA）算法，这是一种轻量级且通用的单图像超分辨率上采样模块。虽然传统的亚像素卷积等方法仍然高效且被广泛采用，但它们往往无法恢复高频细节，并且容易产生诸如棋盘格图案之类的混叠伪影。为了解决这些限制，FGA结合了三个互补组件：（1）基于傅里叶特征的多层感知器（MLP）用于位置频率编码；（2）跨分辨率相关注意力层用于自适应空间对齐；（3）频域L1损失用于监督光谱保真度。尽管仅增加了0.3M个额外参数，FGA在轻量级和全容量设置下都能一致地提高重建质量。实验结果表明，PSNR提高了多达0.42分贝，频域一致性提高了多达29%，尤其是在纹理丰富的数据集上尤为明显。视觉和光谱评估证实了FGA在减少混叠和保留细节方面的有效性，使其成为传统上采样方法的一个实用且可扩展的替代方案。我们的代码和训练好的权重已公开提供。

引言

单图像超分辨率（SISR）旨在从低分辨率（LR）输入重建高分辨率（HR）图像，恢复在降采样过程中通常会丢失的精细纹理、清晰边缘和结构细节。得益于深度学习的发展，卷积神经网络（CNN）[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]以及基于Transformer的架构[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]的最新进展显著推动了SISR的发展，在广泛使用的基准测试中取得了令人印象深刻的性能。

尽管取得了这些进展，但恢复高频细节（如重复纹理、边缘和精细轮廓）仍然具有挑战性，因为这些特征在LR图像中通常严重退化或完全缺失。SISR的结果质量在很大程度上取决于上采样模块重建合理高频信息的能力。传统的基于插值的方法、转置卷积（反卷积）和广泛使用的亚像素卷积（SPC）[21]通常会引入空间伪影，尤其是棋盘格图案和光谱混叠，这是由于它们固有的空间和频率不敏感性（见第3节和图1）。

为了解决这些限制，我们提出了傅里叶引导注意力（FGA）上采样模块——这是一种专门设计用于增强高频保真度和减少重建伪影的轻量级、频率感知解决方案（见第4节）。FGA集成了：（1）基于傅里叶特征的多层感知器（FF-MLP），用于显式编码位置和光谱信息；（2）相关注意力层（CAL），通过跨分辨率注意力自适应地对齐HR特征与LR上下文；（3）频域L1损失（FL1），直接监督光谱保真度。我们的广泛实验表明，FGA在各种最先进的SISR框架和多样化的基准测试中一致地提高了定量指标和感知质量，使其成为传统上采样技术的多功能且有效的替代品（见第5节）。

章节摘录

使用深度神经网络的SISR

深度神经网络显著推动了SISR领域的发展，学会了从LR图像到HR图像的复杂映射，并超越了传统的插值方法。这些进展可以根据网络架构、注意力机制和基于Transformer的模型进行分类。

早期的基于CNN的方法，如SRCNN [1]，通过超越经典插值方法证明了深度学习在SISR中的有效性。后续的方法对此进行了改进

现有上采样模块中的伪影分析

早期的SISR模型通常采用预上采样技术，在高分辨率域中进行特征提取[1]、[4]、[55]、[56]。然而，这些方法由于处理大型空间分辨率而产生了大量的计算开销。因此，后上采样策略变得流行起来，突显了高效且有效的上采样模块在现代SISR流程中的关键作用[5]、[6]、[7]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[18]、[19]

傅里叶引导注意力上采样

在本节中，我们首先概述了我们提出的上采样器的架构。然后描述了构成我们方法基础的关键组件和设计原则。

实验

为了评估我们提出的FGA上采样器的影响，我们将其集成到七个广泛采用的超分辨率框架中（EDSR [5]、RCAN [7]、HAN [11]、NLSN [12]、SwinIR [14]、ATD [30] 和 PFT [31]），并在标准的$\times 4$' role="presentation"> 图像超分辨率任务中进行了测试。

在所有配对比较中，亚像素卷积（SPC）被用作基线上采样模块。重要的是，SPC表示每个框架使用的原始、原生重建头。因此，评估

结论

我们提出了一种新颖的频率引导注意力（FGA）上采样器，用于图像超分辨率，旨在通过显式的空间和光谱条件抑制混叠并增强高频细节。通过注入傅里叶编码的亚像素坐标并使用基于相关性的注意力，FGA使每个上采样的像素能够学习到具有位置感知和频率敏感性的表示。

在标准基准测试上的广泛实验表明，FGA一致性地优于传统方法

CRediT作者贡献声明

崔大俊：撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据管理、概念化。卢友灿：可视化、验证、软件、数据管理。李镇亨：可视化、验证、数据管理。金德洙：撰写——审阅与编辑、验证、监督、方法论、资金获取、形式分析。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了韩国国家研究基金会（NRF）通过教育部资助的基础科学研究计划的支持，资助编号为2021R1I1A3048263。