一种基于视觉语言的框架，用于利用未标注数据检测工业机械、电气和管道资产 Masoud Kamali, Behnam Atazadeh, Abbas Rajabifard, Yiqun Chen, Ensiyeh Javaherian Pour

《Sensors》：A Vision Language-Based Framework for Detecting Industrial Mechanical, Electrical, and Plumbing Assets Using Unlabelled Data Masoud Kamali, Behnam Atazadeh, Abbas Rajabifard, Yiqun Chen and Ensiyeh Javaherian Pour

　　

摘要

随着大量标注数据集的使用，对象检测领域取得了显著进展。然而，现有的基于学习的方法在工业环境中仍存在局限性，主要原因是训练数据集的多样性不足；接近类别的检测器难以泛化到未见过的资产类型；以及机械、电气和管道（MEP）资产本身具有的空间和几何复杂性。为了解决这一挑战，我们提出了一种新方法，该方法利用预训练的视觉语言模型和接近类别的对象检测器来检测未标注的MEP资产。实验结果表明，在开放词汇表的MEP资产检测中，结合Swin B变换器的Grounding DINO模型表现出优异的性能，阀门检测的平均交并比（mIoU）达到了0.6586，泵检测的平均交并比达到了0.4883。此外，Grounding DINO（Swin B）与YOLOv8的结合在MEP资产检测中优于其他配置，阀门检测的平均精度（mAP50）达到了0.928，从0.5到0.95的区间内的平均精度（mAP50:95）达到了0.889；泵检测的相应数值分别为0.778和0.662。我们的方法在定量和定性方面均优于经过微调的Grounding DINO模型以及完全监督的接近类别对象检测器。