环境编码器引导的自适应优化算法在地下煤矿中的实时检测与跟踪应用

《Engineering Applications of Artificial Intelligence》：Environment-encoder guided adaptive optimization for real-time detection and tracking in underground coal mines

　　

宋亮|刘瑞航|袁勇|钱建生|寇琪琪

中国矿业大学矿业学院，徐州，221116，江苏，中国

摘要

在地下煤矿中，目标检测和跟踪面临重大挑战，这些挑战源于低光照条件、频繁的遮挡、多样的物体类别以及严格的实时安全要求。为了解决这些问题，本文介绍了一种由环境编码器驱动的自适应剪枝方法。我们的方法利用编码器动态感知特定场景的因素，如照明和灰尘浓度。这些信息指导图像编码器的自适应剪枝，在鲁棒性和计算效率之间取得平衡，以满足实时处理的需求。此外，为了利用时空上下文，模型集成了全局动态图像记忆库（DIMB）和文本记忆库（TMB）。这些库存储关键帧中的特定类别的视觉和文本特征，从而增强特征表示并为非关键帧补充信息。细粒度采样器通过像素级对应关系确保精确的目标匹配和跟踪。该模型支持多目标检测和基于查询的特定目标检测和跟踪，适应多种地下场景。在我们新构建的数据集和公共基准测试上的全面评估表明，我们的方法优于现有的方法，在检测准确性、跟踪性能和开放世界适应性方面取得了显著改进。这项工作为采矿环境中的智能安全监控和管理奠定了坚实的基础。源代码将在以下链接公开提供：https://github.com/lscumt/EE-AO。

引言

近年来，随着技术的快速进步和安全法规的日益严格，煤炭采矿行业的智能化水平取得了显著进展（Wang和Du，2019年；G. Wang等人，2019年）。作为这一转型的基石，视频分析已广泛应用于各种操作场景，包括煤岩识别、自动化切割系统和智能煤炭混合。然而，这些系统在地下环境中的实际部署一直受到诸如视频质量差、场景复杂多变和光照条件变化等挑战的阻碍（Cheng等人，2023年）。

在矿山视频中进行目标检测的主要目标是在这些具有挑战性的环境中准确高效地识别人员和设备，从而实现智能监控并提高整体安全性和生产效率。到目前为止，研究工作主要集中在静态图像中检测单一类别的目标，例如安全帽、人员或矸石（Dong等人，2024年；He等人，2024年；Dai等人，2023年）。研究人员通过将卷积神经网络与多光谱成像和复杂的实例边界回归技术相结合，试图在复杂条件下提高检测准确性。对于低光照场景，采用了图像增强预处理方法来提高输入质量（Dai等人，2023年）。尽管取得了这些进展，但仍存在一个关键限制：为静态分析量身定制的模型在应用于视频序列时容易出现性能下降。运动模糊、物体变形和瞬时遮挡常常导致误报和漏检。至关重要的是，这种基于图像的范式忽略了视频数据中丰富的时空上下文信息，未能利用连续帧之间的边界框的时间相关性。

如图1所示，煤炭采矿生产中的许多任务——如人员口罩和安全帽的检测、检查轨迹跟踪、固定区域支撑条件的监测、皮带偏差检测、水煤混合物的识别、大块煤的识别以及对地下安全至关重要的火花检测——都需要实时检测能力和即时警报。因此，部署在地下环境中的检测和跟踪模型不仅必须表现出高鲁棒性，还必须满足严格的实时要求。

因此，迫切需要开发集成实时性能和多功能性的地下视频目标检测和跟踪系统，以满足智能采矿的严格要求。与将环境视为外部因素的先前工作不同，我们的方法从根本上将环境感知集成到模型的内部适应机制中。本文做出以下贡献：

$•$' role="presentation">$•$ 我们提出了一种基于自适应剪枝的实时多目标检测和跟踪模型，该模型结合了环境编码器。编码器捕获特定场景的照明和灰尘信息，根据环境条件动态调整图像编码器的剪枝率。这确保了在复杂的地下采矿场景中的鲁棒性，同时保持了工业应用所需的实时性能。

$•$' role="presentation">$•$ 为了更好地利用时空特征并进一步提高检测速度，我们引入了基于关键帧描述的全局动态图像记忆库（DIMB）和文本记忆库（TMB）。DIMB通过充分利用时空信息来细化物体特征，而TMB为非关键帧补充文本特征，减少了对文本编码器的依赖，从而提高了整体检测效率。

$•$' role="presentation">$•$ 我们构建了一个全面的地下煤矿视频数据集Multi-Object Track of Underground Mine（MOT-UM），用于目标检测和跟踪，涵盖了多种物体类别和复杂的场景，以便对检测和跟踪方法进行稳健评估。此外，通过采用Grounding DINO（Liu等人，2025年）作为基础架构，我们的模型支持多目标跟踪和基于查询的特定目标检测和跟踪。

章节片段

矿山中的目标检测

矿山中目标检测方法的主要目的是为行为识别、分析、异常检测和矿山安全监控中的早期预警提供基础技术支持。目前，关于矿山目标检测的研究主要集中在检测单一类别的对象，如输送带上的外来物体检测、煤矸石检测、人员检测和保护设备检测。Yang等人（2024年）提高了复杂场景中目标检测的准确性

方法

为了解决地下环境复杂性对目标检测和跟踪带来的挑战，本研究提出了一种称为EE-AO（环境编码器引导的自适应优化）的自适应剪枝模型，该模型结合了细粒度特征提取和目标轨迹匹配。这种方法在实际应用中尤为重要，尤其是在计算资源有限的情况下。如图2所示，该模型集成了一个全面的环境编码器

设置

数据集 如图5所示，提供了MOT-UM数据集的全面概述，以描述其组成和挑战。我们的数据集包含20种不同类型的物体和8个复杂场景。从大约10小时的地下监控录像中精心选择了69个视频片段，共得到89,432个标注帧，进一步分为训练集（30个视频，38,921帧）、验证集（25个视频，32,107帧）和测试集（14个视频，

结论

本文探讨了煤矿复杂地下环境带来的挑战以及许多物体类型注释不完整的问题。提出了一种基于环境编码器和自适应剪枝的实时多目标视频检测和跟踪方法。该方法利用环境编码器获取环境信息，用于自适应地剪枝图像编码器，显著提高了实时性能，同时确保了模型的

CRediT作者贡献声明

宋亮：撰写——原始草稿，数据整理，概念化。刘瑞航：验证，软件，资源。袁勇：资源，资金获取。钱建生：资源，资金获取。寇琪琪：资源，项目管理，方法论。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（编号：52574172）和国家重点研发计划（编号：2022YFC3004703）的资助。