通过潜在转换的分布来实现低光照图像增强

《Journal of Visual Communication and Image Representation》：Low-light image enhancement via distribution of latent transitions

低光图像增强方法提出基于条件变分自编码器的潜在去暗化框架，通过建模低光到正常光照的潜在空间转换，有效捕捉复杂退化特征并提升增强效果。

　　

Jahun Jung | Wonjun Kim

电气与电子工程系，韩国首尔康库克大学，邮编05029

摘要

大多数以往的低光照图像增强方法依赖于Retinex理论，该理论将给定图像分解为两个组成部分，即光照和反射率，并分别处理它们。然而，Retinex理论的不确定性给分解过程带来了很大困难，即使使用最新的生成模型，也难以获得最佳的恢复效果。在本文中，我们提出将增强过程定义为从低光照条件到正常光照条件下的颜色转换过程，这一过程发生在潜在空间中。为此，我们采用了一种条件变分自编码器，它将低光照图像和正常光照图像的特征嵌入到一个共享的潜在空间中，并同时学习从低光照图像到正常光照图像的潜在转换分布，即所谓的“潜在去暗化”过程。所提出方法的一个重要优势是，从这种基于学习的分布中采样的潜在特征能够很好地表示增强过程中发生的各种颜色变化趋势。在基准数据集上的实验结果表明，与以往的方法相比，所提出的方法在各种光照条件下都能提高低光照图像的增强效果。代码和模型可公开获取于：https://github.com/DCVL-LLIE/LD_release

引言

我们在低光照环境中拍摄日常生活照片的频率比我们想象的要高。然而，低光照图像不可避免地包含一些意外的人为噪声，例如可见度低、抖动噪声、颜色失真和模糊，这些都会导致下游任务（如物体检测[1]、[2]和分割[3]、[4]、[5]）的性能下降。为了解决这个问题，文献中引入了多种低光照图像增强方法。最近，大多数现有方法都基于深度学习技术，并使用了大量成对的样本，这些样本主要是通过合成方式生成的，例如专家后期处理、调整曝光时间等。为了补偿现实世界场景中的各种环境因素，最近的一些生成模型还在低光照图像增强的训练过程中应用了广泛的先验知识。

最初，与传统的低光照图像增强方法类似，基于学习的方法依赖于Retinex理论，其目标是将给定图像分解为两个独立的组成部分，即光照和反射率[6]、[7]、[8]、[9]、[10]、[11]。由于这两个组成部分没有真实值，大多数方法采用了一种隐式生成它们的策略，并通过减少从这些内部结果组合重建的图像与相应的正常光照图像之间的差异来提高准确性。这种间接的指导方法往往导致恢复效果不佳。最近，许多研究开始利用语义先验，例如分割结果[12]、结构特征[13]、[14]和频率特性[15]，而不依赖于Retinex理论的分解过程。然而，仅使用从低光照图像中提取的特征来理解低光照图像和正常光照图像之间的复杂转换是不够的。尽管有一些研究尝试通过学习到的码本[16]、[17]和物理四重先验[18]来利用正常光照图像的固有特征，但仍需要更多地关注转换过程本身，而不仅仅是重建正常光照图像，同时需要理解低光照图像增强的高度非线性特性。

为了满足这一需求，我们提出了一种新的低光照图像增强方案，称为“潜在去暗化”，它学习从低光照条件到正常光照条件在潜在空间中的转换概率分布。与以往的方法不同，我们的目标是通过应用生成模型来估计光照转换过程本身，而不仅仅是简单地生成正常光照图像（见图1）。通过这种方式，模型能够理解恢复低光照输入光照条件所需的各种退化特性。具体来说，我们采用了一种条件变分自编码器，将低光照和正常光照的特征嵌入到一个共享的潜在空间中。潜在转换的分布是在一个以低光照图像为条件的单高斯分布下学习的。值得注意的是，该模型能够将光照增强的非线性过程理解为在这种共享潜在空间上的简单转换。在推理时，从这种学习到的分布中采样潜在特征，并将其与输入的低光照图像一起解码，其中包含了从低光照图像转换为正常光照图像所需的变化量。需要强调的是，我们的潜在去暗化方案能够更深入地理解增强过程中发生的各种变化，即使在复杂的现实世界环境中也能得到合理的结果。所提出方法的主要贡献总结如下：

• 我们提出专注于准确估计颜色转换过程本身，即预测低光照输入与相应正常光照图像之间的差异，而不仅仅是简单地重建正常光照图像。这种尝试有助于模型理解各种退化现象及其相应的恢复过程，从而显著提高了低光照图像增强的效果。
• 我们提出了一种学习型且可泛化的生成模型，称为潜在去暗化。为了减轻从低光照到正常光照图像的非线性和复杂转换，我们利用条件变分自编码器来利用潜在空间上的转换，这种方法在概念上简单直观。

本文的其余部分组织如下：第2节对相关工作进行了比较回顾；第3节详细解释了所提出的方法；第4节报告了在基准数据集上的实验结果、消融研究以及其在下游任务中的应用；第5节给出了结论。

相关工作

相关工作

在本节中，我们对以往的低光照图像增强研究进行了比较回顾，并介绍了采用条件生成模型的各种方法。

传统的基于学习的方法。最近的研究表明，当将Retinex理论与深度学习技术结合使用时，可以显著提高低光照图像的感知质量。

潜在去暗化模型

所提出方法的核心在于将增强过程建模为一个简单的转换过程，通过估计条件概率分布来实现：

$p_{\theta }\left(I_n\right|I_l)$ 其中$I_{}$和分别表示正常光照图像和低光照图像。$I_{}$是神经网络中的一组可学习参数。所提出方法的总体架构如图2所示。受到3D人体运动建模[39]成功的启发，我们采用了一种条件变分自编码器来构建这一模型。

实现细节

所有实验都是使用PyTorch框架[52]在Intel i7-6850k@3.60 GHz CPU和NVIDIA RTX 3090 GPU上进行的。我们使用Adam优化器[53]来训练所有模型参数，动量因子分别设置为0.9和0.999。所提出的方法进行了30,000次迭代，批量大小为8。学习率最初设置为，然后通过余弦退火算法[54]逐渐降低到