基于无人机图像采集和多类语义分割的桥梁缺陷三维定位的图像点云融合技术

《ADVANCED ENGINEERING INFORMATICS》：Image-point cloud fusion for bridge defect 3D localization based on UAV image acquisition and multi-class semantic segmentation

　　

Jinghuan Zhang|Wang Chen|Shang Jiang|Jian Zhang

摘要

桥梁表面缺陷的精确3D定位受到大规模3D重建的计算瓶颈、缺陷的形态异质性以及跨模态语义映射中的几何不确定性的限制。本文提出了一种图像点云融合框架，该框架整合了结构化的无人机采集、分布式重建和混合架构的语义分割技术。(1) 采用空间逻辑引导的采集策略以及基于RTK（实时 kinematic）技术的拓扑驱动的分块重建流程，显著提高了重建效率，同时保持了桥梁尺度上的全局几何一致性。(2) HybridTM-Seg结合了基于Transformer的全局感知能力和基于Mamba的长距离依赖性建模技术，实现了对裂缝和剥落等异质缺陷的精细分割。(3) 设计了一种具有几何和视图一致性约束的语义映射机制，有效解决了由于单目深度信息缺失导致的遮挡模糊和投影失真问题，并支持将2D语义信息准确反投影到3D表面上。在实际桥梁上的实验验证表明，该框架能够在复杂背景下实现对多种类型缺陷的精确且稳健的3D定位。