通过“光照退化解缠”技术实现夜间到白天的翻译

《IEEE Transactions on Multimedia》：Night-to-Day Translation via Illumination Degradation Disentanglement

　　

摘要：

“Night-to-Day”（Night2Day）技术旨在实现夜间场景的日间视觉效果。然而，在没有对应白天图像的情况下，处理具有复杂退化现象的夜间图像仍然是一个重大挑战。以往的统一减轻这些退化影响的方法在同时恢复白天场景信息与保留图像语义方面表现不佳。在本文中，我们提出了N2D3（通过退化分离实现夜间到白天的转换）方法，用于识别夜间图像中的不同退化模式。具体而言，该方法包括一个退化分离模块和一个具有退化感知能力的对比学习模块。首先，我们基于Kubelka-Munk理论从光度模型中提取物理先验信息；然后，在这些物理先验的指导下，设计了一个分离模块来区分不同的光照退化区域；最后，引入了具有退化感知能力的对比学习策略，以保持不同退化区域之间的语义一致性。我们的方法在两个公开数据集上进行了评估，显示出显著的视觉质量提升，并具有显著的应用潜力，能够为后续任务带来好处。