UTA-Sign：通过事件辅助的交通标志草图绘制实现的无监督热视频增强

《Pattern Recognition》：UTA-Sign: Unsupervised Thermal Video Augmentation via Event-Assisted Traffic Signage Sketching

自主驾驶低光环境下热-事件多模态融合的交通标志增强方法，提出UTA-Sign框架通过双提升机制整合热成像的精确运动信息与事件相机的细粒度语义数据，解决传统热成像语义缺失问题，并构建伪地面真实用于训练。实验表明该方法显著提升全天候交通标志识别精度与安全性。

　　

韩宇琪|张松倩|苏伟健|李凯|杨佳宇|索金莉|张强

中国辽宁省大连市大连理工大学计算机科学与技术学院，116024

摘要

热成像相机在低光照条件下对户外环境的感知能力非常出色，使其成为夜间自动驾驶和无人导航等应用的理想选择。然而，当热成像相机捕捉由相似材料制成的物体上的标志时，会遇到挑战，这可能对自动驾驶系统中准确理解标志语义构成安全风险。相比之下，神经形态视觉相机（也称为事件相机）能够异步检测光线强度的变化，并在高速、低光照的交通环境中表现出色。本文认识到这两种模式的互补性，提出了UTA-Sign，这是一种用于低光照环境下交通标志的无监督热事件视频增强方法，主要针对车牌和路障指示器等元素。为了解决热成像的标志盲区和事件相机采样不均匀的问题，我们开发了一种双重增强机制，将热帧和事件信号融合在一起，以实现时间上的一致性标志表示。UTA-Sign利用热帧提供准确的运动线索作为时间参考，以对齐不均匀的事件信号；同时，事件信号为原始热帧补充细微的标志内容，有助于理解环境。通过在真实交通数据集上的验证，证明了UTA-Sign在标志绘制和辅助自动驾驶中的准确检测方面的优越性能。

引言

自动驾驶的一个基本目标是在所有光照条件下保持安全。为了应对这一挑战，感知模块结合了传感器和导航系统来收集有关交通环境的关键数据。这有助于全面了解道路状况，对于做出明智的决策至关重要。为了实现高质量的感知，不仅需要捕捉环境几何信息，还需要准确解读标志的细节，如交通标志、障碍物指示器和车牌。通过掌握这些关键元素，车辆可以制定针对当前交通情况的规划策略，从而提高控制能力和安全性。

热成像相机通过检测物体发出的辐射来工作，使其能够在完全黑暗的环境中有效运行，无需额外的光源。利用温度差异，这些相机能够清晰地勾勒出形状，并且不受周围光线（如环境照明或车辆前灯）的影响，从而确保热特征的一致性可见。然而，尽管热成像在低光照环境下表现出色并能够勾勒出边缘，但在捕捉更细微的语义细节（例如交通标志）方面存在不足，如图1(a)所示，这是由于材料和温度的相似性造成的。这一缺点可能会妨碍对周围环境的全面理解，并对驾驶安全构成风险。

热传感器和光学传感器的融合[1]已被广泛研究用于复杂的感知环境和任务。通过整合来自多个来源的信息，有效的融合解决方案可以提高准确性和完整性。在光学传感器中，神经形态相机（事件相机）因其对光线强度变化的响应而脱颖而出[2]，这使得它们对光照变化非常敏感（图1(b)）。虽然事件相机即使在昏暗的夜间条件下也能捕捉到语义线索，但生成的事件流往往稀疏且受到噪声干扰。因此，尽管事件提供了有价值的语义信息，但直接将其转换为强度图像进行感知是不可靠的，因为稀疏和噪声信号会导致不完整或失真的表示，从而影响后续任务。受到这两种模式互补优势的启发，我们提出了一种方法，该方法选择性地利用热帧中的物体边缘和事件中的语义线索，为在低光照场景中感知交通标志提供了有前景的方法。

在本文中，我们介绍了UTA-Sign，这是一种用于标志绘制的无监督热事件增强框架，它能够恢复热帧中缺失的语义信息（图1）。所提出的UTA-Sign通过利用事件信号来丰富交通标志信息，同时保留原始内容，从而增强低光照下的热感知能力。标志信息绘制（SIS）模块使用特定于模态的编码器提取特征，然后在解码前将这些特征融合到多个尺度上。为了保持时间一致性，时间一致性校正（TCC）模块对齐帧并建模时间相关性。输出结果是从前面的绘制帧依次生成的，逐步细化结果，同时保留关键特征并确保时间连贯性。

与现有的基于事件的强度重建方法不同，UTA-Sign能够在不需要RGB监督或辅助的情况下实现基于事件的学习，显著减少了低光照夜间交通场景中的数据采集负担。为了便于训练，我们为SIS和TCC模块构建了伪真实值。对于SIS模块，我们实施掩蔽来从事件信号中提取标志信息。两种模态的原始信号作为提示，用于从事件信号中分割标志信息，然后将其映射到热图像上。对于TCC模块，热信号用于估计事件相机的运动，时间对齐的事件信号作为伪真实值。这种策略避免了在时间不均匀的事件帧之间进行直接的特征匹配，这在独立操作中尤其不可靠。因此，构建的伪真实值增强了生成标志草图的时间一致性。

为了验证所提出的热绘图方法的有效性，我们进行了一系列全面的实验。这些实验评估了视觉质量和定量性能，并评估了在低光照驾驶环境中检测交通标志的能力。具体来说，我们评估了多个模型中的对象检测情况，突出了该方法的准确性和鲁棒性。结果表明，所提出的热绘图方法显著提升了自动驾驶的全天感知能力。

本文的主要贡献如下：

•

所提出的UTA-Sign是第一个直接整合事件和热数据用于低光照交通标志增强的模型，完全利用了两种互补的模态，而无需任何可见光输入的辅助。

•

我们采用了一种无监督训练方法，利用热相机和事件相机的优势进行相互增强：前者为事件提供精确的运动估计，用于时空补偿；后者则为热视频中缺失的细纹理细节做出贡献。

•

我们在真实的交通场景中全面评估了所提出的UTA-Sign，在成像质量和下游交通标志检测方面都取得了最佳结果，证明了其在低光照条件下的优越性。

相关工作

相关工作

我们回顾了低光照感知研究，重点关注RGB-热融合、基于事件的强度重建以及多模态增强在下游任务中的应用。

方法

在本节中，我们首先概述了所提出的UTA-Sign流程。然后详细介绍了标志信息绘制（SIS）和时间一致性校正（TCC）模块，以及各自的伪真实值构建过程。随后介绍了训练损失。最后，我们简要描述了预处理步骤，包括相机注册和语义目标定位，以及训练配置。

实验结果

在本节中，我们介绍了数据集构建、评估指标和基准比较，以及定性和定量结果、模块级的消融研究，以及UTA-Sign效率的分析。

结论

本文提出了UTA-Sign，这是一种直接的热事件融合框架，用于在极端低光照场景中生成可靠的交通标志草图，从而在自动驾驶中准确理解交通语义。通过利用事件相机的高时间响应性和热成像的强大感知能力，UTA-Sign构建了一个无监督的双重增强网络，能够在多种驾驶条件下精细化交通标志信息。

未引用的浮动文本

表A.9。

CRediT作者贡献声明

韩宇琪：撰写 – 审稿与编辑，撰写 – 原稿，方法论，资金获取，正式分析，数据管理，概念化。张松倩：验证，软件，资源，正式分析，数据管理。苏伟健：可视化，验证，项目管理，方法论。李凯：软件，方法论，数据管理。杨佳宇：撰写 – 原稿，可视化，验证，资源。索金莉：撰写 – 审稿与编辑，撰写 – 原稿

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

韩宇琪报告称获得了国家自然科学基金的支持。如果有其他作者，他们声明没有已知的可能会影响本文所述工作的财务利益或个人关系。