SDEF-BEV：一种基于空间感知的双专家雷达-相机融合技术，用于实现鲁棒的基于电动汽车（BEV）的3D物体检测

《Scientific Reports》：SDEF-BEV: spatial-aware dual-expert radar-camera fusion for robust BEV 3D object detection

　　

摘要

鸟瞰视图（BEV）雷达与摄像头的融合是一种经济且可靠的自动驾驶中3D感知解决方案。然而，现有方法在处理不同模态之间的空间不对齐问题时存在困难，并且缺乏在复杂场景中动态调整各模态贡献的能力。为了解决这些问题，我们提出了SDEF-BEV，这是一种新型的空间感知双专家融合网络。SDEF-BEV的核心采用了并行双路径融合架构。空间感知双专家融合（SDEF）模块通过两个专门的专家系统（语义增强型和几何增强型）以及一个空间门控网络，自适应地学习最优的特征融合策略，从而生成基于位置的融合权重。同时，并行的通道与空间融合（CSF）路径通过卷积归纳偏差保留了丰富的空间上下文。这两条路径的输出被聚合起来，形成统一且信息丰富的融合特征。在nuScenes数据集上的实验表明，SDEF-BEV的NDS（准确率）达到了57.1%，mAP（平均精度）达到了45.7%，显示出竞争力强的性能。广泛的消融研究进一步验证了并行SDEF架构的有效性，整个方法在具有挑战性的恶劣天气条件下也表现出很强的鲁棒性。