DarkCORE：通过协作式反射率去噪和面向对象的特征增强实现高效的低光照物体检测

《Expert Systems with Applications》：DarkCORE: Efficient Low-Light Object Detection Via Collaborative Reflectance Denoising and Object-Oriented Feature Enhancement

低光图像检测框架DarkCORE通过协作反射去噪与目标导向特征增强，有效解决传统方法噪声放大和细节丢失问题，在ExDark、DarkFace等数据集上mAP提升达0.6，参数仅20K。

　　

Xin Feng|Jie Wang|Yunlong Wang|Junxian Zeng|Di Ming

重庆工业大学计算机科学与工程学院，中国重庆，400054

摘要

在高质量数据集上训练的对象检测器在低光照条件下通常会遇到性能下降的问题，这主要是由于传统增强方法引入的噪声放大和纹理失真所致。大多数现有方法主要关注亮度和对比度的调整，这些调整是为人类视觉感知设计的，往往无法满足下游检测任务的要求。此外，它们的去噪技术依赖于单分支约束，在复杂光照条件下难以平衡噪声抑制和细节保留。在本文中，我们提出了DarkCORE，这是一个面向检测的高效低光照对象检测框架，它结合了协同反射率去噪和面向对象的特征增强。通过分析低光照图像的反射率和光照成分，DarkCORE对反射率成分应用多分支自监督去噪策略，利用分支间的结构差异生成辅助学习信号，有效减少噪声的同时保留对象级细节。此外，DarkCORE在潜在特征空间中增强面向对象的特征，实现了与检测器的端到端联合优化。在ExDark、DarkFace和LOD数据集上的广泛实验表明，DarkCORE在多种低光照场景下的性能优于现有方法。特别是，DarkCORE在仅增加20K个参数的情况下，提升了高达0.6个mAP的准确率，凸显了其效率和适应性。

引言

随着深度学习的快速发展和高质量数据集（如MS COCO（Lin等人，2014年）和Pascal VOC（Everingham、Gool、Williams、Winn和Zisserman，2010年）的可用性，对象检测模型取得了显著进展。然而，它们在低光照环境中的性能仍然不尽如人意。低光照图像通常具有可见度降低、颜色失真和严重噪声等问题，这些问题是由照明不足、环境黑暗以及传感器曝光限制引起的。这些退化现象掩盖了对象的特征和细粒度纹理，给可靠的对象检测带来了巨大挑战。在实际应用中，如智能视频监控、夜间自动驾驶和无人机（UAV）监控，低光照图像通常由资源受限的边缘设备捕获，因此检测准确性和计算效率都是关键要求。因此，低光照对象检测必须同时解决复杂光照下的鲁棒性和计算预算有限下的效率问题，这促使了面向检测的轻量级增强框架的需求。

现有的低光照对象检测方法大致可以分为两类：两阶段框架和单阶段端到端框架。在两阶段方法中，图像增强网络和对象检测器被视为独立模块。增强网络通常在低光/正常光数据集上预训练，旨在改善对比度、亮度和颜色平衡，生成适合人类观察的视觉图像。然后，增强后的图像被输入单独训练的检测器，遵循标准的检测流程。然而，这些增强策略主要是为人类视觉感知设计的，而不是机器感知。尽管可以改善低光照图像的视觉外观，但这些方法并未明确考虑保留对象结构的问题。结果，亮度和对比度增强往往会放大噪声并扭曲对象区域中的细粒度纹理，而这些纹理对准确检测至关重要。几种代表性方法（Fu、Zheng、Meng、Wang、Wang、Ma，2023a；Jiang、Gong、Liu、Cheng、Fang、Shen、Yang、Zhou、Wang，2021；Liang、Chen、Ren、Miao、Chen、Jin，2023；Luo、Chen、Zhu、Chen、Wang，2025；Wei、Wang、Yang和Liu、Wu、Weng、Zhang、Wang、Yang，2022；Yang、Gong、Wu、Yang、Shi、Nie，2023）遵循这种范式，在复杂的低光照条件下检测性能下降，如图1（左）所示。单阶段框架试图通过将增强网络和检测器集成到统一的端到端架构中来缓解这一问题。在这种设置中，增强模块被优化以提高检测准确性，而不是视觉质量。尽管有这一优势，现有的单阶段方法仍然倾向于关注亮度或对比度校正，而很大程度上忽略了真实世界低光照图像的固有噪声特性，如图1（左）所示。由于传感器增益高和曝光限制，噪声是低光照场景中的主要退化因素，但在当前的低光照检测框架中很少被明确建模。传统的去噪方法（Guo、Yan、Zhang、Zuo、Zhang，2019；Quan、Chen、Pang、Ji，2020；Zhang、Zuo、Zhang，2018；Zhao、Li、Dong、Yang，2018）通常依赖于单分支映射，并需要成对的干净参考图像进行监督。这些假设在现实世界应用中不切实际，因为增强预训练所需的成对干净真实图像通常不可用。因此，现有的去噪策略难以以面向检测的方式平衡噪声抑制和纹理保留，限制了它们在下游对象检测任务中的有效性。

此外，除了噪声处理和学习范式的限制之外，低光照对象检测的计算效率仍然是一个关键但尚未充分探索的问题。虽然一些增强方法可以提高图像质量，但往往以牺牲推理速度为代价。许多方法（Wang、Yang、Wu、Sun、Liu、Zou，2025；Yi、Xu、Zhang、Tang、Ma，2023；Zhou、Yang和Yang）基于拉普拉斯金字塔来增强低频成分的同时恢复高频细节，引入了大量的架构复杂性。在几个端到端低光照检测框架中也观察到了类似的问题（Cui、Li、Gu、Su、Gao、Jiang、Qiao和Harada、Qin、Chang、Huang、Li，2022；Yin、Yu、Fei、Lv、Gao，2023），其中设计复杂的增强模块显著增加了计算开销，减慢了检测速度。这种复杂性严重限制了它们在现实世界低光照场景中的实用性，特别是对于资源受限的平台和实时应用，凸显了需要高效且轻量级的低光照检测框架，以平衡增强效果和操作效率。

为了解决这些挑战，本文提出了一种基于协同反射率去噪和面向对象特征增强（DarkCORE）的高效低光照对象检测框架，该框架明确针对检测增强进行了优化，而不是以人类为中心的图像恢复，在端到端学习范式内实现。基于Retinex分解（Land和McCann，1971），反射率成分保留了与对象相关的高频细节，但在增强过程中容易受到噪声放大的影响，从而严重降低目标纹理的清晰度。为了对抗这一点，我们为反射率成分引入了两种多分支协同去噪策略：（i）一种多分支协同机制，利用分支间的对称性一致性，使DarkCORE能够在不依赖干净参考图像的情况下建模和抑制噪声；（ii）一种噪声感知选择约束，减轻噪声区域的纹理模糊，同时最大化增强潜力。这些约束的协同整合在去噪和细节保留之间取得了最佳平衡，从而显著提高了图像质量并提升了下游检测性能，如图1左侧所示。

受到潜在扩散模型（Rombach、Blattmann、Lorenz、Esser和Ommer，2022）的启发，DarkCORE在潜在特征空间内联合优化去噪后的反射率和光照，以增强对检测至关重要的特征。我们开发了两个轻量级网络：（i）反射率增强网络（RE-Net），它提取并校正反射率特征以保留纹理；（ii）光照增强网络（IE-Net），它通过自适应对比度调整处理光照特征。这种协同组合不仅提高了识别准确性，还通过避免上采样操作实现了实时处理，从而保持了检测质量。

我们在ExDark（Loh和Chan，2019）、UG²+DarkFace（Yang等人，2020）和LOD（Hong、Wei、Chen和Fu，2021）数据集上进行了广泛实验，取得了超越当前最先进方法的结果。我们的方法还以其参数效率著称，仅有20K个参数，非常适合低光照对象检测。如图1（右）所示，实验结果证实了我们方法的有效性，尽管参数数量很少，但仍能提供出色的准确性。

我们的主要贡献可以总结如下：

• •
  我们提出了两种多分支协同反射率去噪策略，通过多个约束实现高效的自监督去噪，明确解决了现有单分支去噪方法在低光照检测中的局限性。
• •
  我们设计了一个目标特征增强网络，将RE-Net和IE-Net结合起来，共同优化目标特征，有效弥合了低光照增强和下游对象检测之间的差距。
• •
  我们设计了一个仅有20K个参数的轻量级增强网络，在检测准确性和计算效率之间取得了有效的平衡，同时保持了高检测准确性，提高了实际部署的可行性。

相关工作

相关工作

对象检测。主流对象检测器通常分为两类：单阶段和两阶段检测器。单阶段检测器，如SSD（Liu等人，2016）、YOLO（Redmon，2018）和FCOS（Tian、Shen、Chen和He，2019），在统一的前向传递中直接预测对象类别和边界框，实现快速推理。相比之下，两阶段检测器，包括RCNN（Girshick、Donahue、Darrell和Malik，2014）、Faster R-CNN（Ren、He、Girshick和Sun，2015）等

初步

受到人类视觉系统的启发，Retinex理论（Land和McCann，1971）是一种有效的低光照图像增强方法，并已广泛应用于低光照对象检测任务。通过将图像分解为反射率和光照成分，该理论实现了亮度和细节信息的独立处理，为低光照图像增强提供了坚实的理论基础。

具体来说，Retinex分解数学表达为$S=I\odot R$

实验

我们进行了两项主要实验：低光照对象检测（第4.1节）和面部检测（第4.2节）。其他评估包括在不同数据集和检测器上的泛化测试（第4.3-4.4节）、mAP阈值分析（第4.5节）、消融和损失权重研究（第4.6节）以及效率分析（第4.7节）。所有实验均使用MMDetection（Chen等人，2019）框架进行，并在配备两个NVIDIA RTX 3090 GPU的工作站上运行。

结论

本文提出了DarkCORE，这是一种高效的低光照对象检测方法，能够在低光照条件下显著提升检测性能。该方法利用协同反射率去噪和面向对象的特征增强，在端到端优化框架内实现。为了解决传统方法面临的噪声抑制和特征保留挑战，我们为反射率成分提出了一种多分支协同去噪策略

资助

本工作得到了中国自然科学基金（项目编号CSTB2022NSCQ-MSX0493和CSTB2024NSCQ-MSX0341）、国家自然科学基金（项目编号62441607）以及重庆市教育委员会科学技术研究计划（项目编号KJQN202301142）的支持。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

Di Ming报告获得了国家自然科学基金的支持。Di Ming报告获得了重庆市自然科学基金的支持。Di Ming报告获得了重庆市教育委员会科学技术研究计划的支持。Xin Feng报告获得了