用于多视图自动驾驶中开放集对象检测的上下文图建模

《IEEE Open Journal of Vehicular Technology》：Contextual Graph Modeling for Open-Set Object Detection in Multi-View Autonomous Driving

　　

摘要：

自动驾驶车辆需要强大的感知系统，以便在复杂的驾驶环境中准确识别已知和未知的物体。传统的封闭集检测器由于无法识别新型或分布外的（OOD）物体，可能会危及安全。本研究提出了一种基于上下文图的框架，用于多视图自动驾驶中的开放集物体检测。我们还引入了一个新的数据集NuScenes-Novel，该数据集通过添加MS-COCO数据集中的额外和不寻常物体来提高其真实性。检测到的物体被表示为图中的节点，空间和上下文关系通过距离度量来建立。每个物体的外观和几何特征使用DINOv2骨干网络进行嵌入，并训练了一个变分图自动编码器（VGAE）来学习每个场景中的上下文结构和关系。在推理过程中，VGAE重建误差与具有上下文意识的马氏距离相结合，以有效识别OOD物体。在NuScenes-Novel数据集（来自六个摄像头的聚合数据）上，所提出的融合方法实现了0.98的AUROC和0.07的FPR@95，这表明在多视图场景中能够清晰区分分布内物体和新型物体。结合外观和关系上下文可以提高在遮挡和物体变化情况下的鲁棒性。结果表明，建模物体关系并利用基于图的推理显著提高了自动驾驶车辆感知的可靠性和鲁棒性。这些发现强调了考虑上下文信息和混合评分方法对于开放集检测的重要性。