《Sensors》：A Lightweight 1D-CNN-Transformer for Bearing Fault Diagnosis Under Limited Data and AWGN Interference
Yifan Guo,
Yijie Zhi,
Renyi Qi and
Ming Cai
编辑推荐：
为解决无记录遗弃油井因位置不明、条件复杂带来的地下特征描述与环境管理难题，研究人员开展了一项利用磁力计数据进行遗弃油井检测的深度学习方法研究。他们提出了一种基于Transformer的深度学习框架，该框架采用动态位置编码技术，无需大量下采样即可高效处理高分辨率磁力计数据。在合成数据上，模型在飞行路径间距达140米时仍实现了超过90%的F1分数；应用于真实数据时，模型达到了70%的召回率。这项研究为利用无人机数据检测遗弃油井提供了一种灵活、可扩展的解决方案，并可轻松适配其他遥感应用。
在当今的能源开发版图上，遗留着一个隐蔽却棘手的问题：大量“无记录遗弃油井”散落在世界各地。这些油井因年代久远、记录缺失，其具体位置和物理状况成谜，不仅给地下基础设施的描绘带来巨大挑战，也使得环境修复资源的分配和精准记录管理变得异常困难。为了定位这些“消失”的油井，多种探测技术被尝试，其中，磁力测量法因其能探测到钢套管井产生的磁异常信号而展现出巨大潜力。然而，磁力计数据通常具有海量、高噪声和复杂的特点，传统方法处理起来效率低下，往往需要进行繁重的预处理（如下采样至原分辨率的约0.2%），导致信息严重丢失，且召回率（Recall）不尽人意。现有的无监督聚类方法（如DBSCAN, Mean Shift）和卷积神经网络（CNN）在面对稀疏、高噪的数据时，也显得力不从心。此外，用于训练深度学习模型的标记数据极度稀缺，这成为将人工智能应用于环境检测的一大瓶颈。
为了解决这些难题，Yifan Guo, Yijie Zhi, Renyi Qi 和 Ming Cai 的研究团队在《Sensors》期刊上发表论文，提出了一种创新的基于Transformer的深度学习框架。该研究旨在无需大量下采样和繁重预处理的情况下，高效处理高分辨率磁力计数据，从而实现对无记录遗弃油井的精准、高效定位。
研究人员为开展此项研究，主要运用了以下几项关键技术方法：首先，他们基于磁偶极子方程生成了物理上可信的合成磁力计数据，以解决真实标记数据稀缺的问题，并利用从真实数据中估计的统计分布来调整合成数据的磁矩，以匹配真实数据的变异性。其次，他们采用了基于Senseiver模型的编码器-解码器Transformer架构，并引入了正弦-余弦位置编码，使模型能够理解传感器之间的空间关系。第三，他们开发了“动态”位置编码策略，在推理时直接处理原始高分辨率（100 Hz）传感器观测值及其坐标，无需重建整个空间网格，从而大幅降低了计算和内存开销。最后，研究使用了来自美国俄克拉荷马州欧塞奇族的真实无人机磁力计调查数据，将合成数据与真实飞行轨迹结合进行模型训练与评估，以测试模型的泛化能力。
2. 磁力计数据
研究使用的磁力计数据由安装在无人机上的Sensys R3磁力计采集，采样频率为200 Hz，后降采样至100 Hz。无人机飞行高度约40米，相邻飞行路径平均间距47米。数据经过无效数据过滤、航向校正和背景磁场扣除等标准地球物理校正，但未进行空间插值、平滑或激进滤波，以保留数据的原生空间分辨率和噪声特征。尽管如此，数据仍面临地质变化、金属物体、无人机姿态波动、地磁干扰及机载电磁干扰等多种噪声源的挑战，且稀疏的空间覆盖和高数据密度使得处理工作计算密集、充满挑战。
3. 方法
3.1. 模型与架构
研究框架基于Senseiver模型，这是一种为重建稀疏空间场而设计的基于Transformer的架构。采用编码器-解码器结构，其中输入传感器值及其空间位置被共同编码为紧凑的潜在表示，并利用交叉注意力层来聚合上下文信息。该架构整合了使用正弦-余弦位置编码的空间编码器，使网络能够推断传感器间的空间关系。
3.2. 合成数据生成
由于真实标记数据有限，研究通过物理模拟生成合成数据用于训练。油井被随机放置在一个1000x1000的网格中，其产生的磁异常通过磁偶极子方程计算，以确保物理一致性。虚拟传感器被放置在模拟真实飞行轨迹的垂直飞行路径上，以模拟无人机调查典型的稀疏覆盖。为促进模型泛化，合成读数的密度低于真实测量值，并根据实地数据导出的分布引入了井的磁矩变化。
3.3. 在合成数据上训练
对于每次模拟调查，模型根据指定的稀疏度和采样频率“飞越”区域，记录合成的传感器值及其位置。这些位置通过正弦-余弦位置编码提供空间感知。传感器值进行对数缩放以稳定训练。模型预测一个二维空间场（预测空间），并使用预测场与真实场之间的均方误差（MSE）进行优化。为不过度惩罚小的空间错位，研究在每个真实油井位置周围定义了一个5单位的Lp球容差。
3.4. 神经网络框架的优势
基于Transformer的神经网络为磁力计数据处理提供了灵活、鲁棒的解决方案。它们可以整合多种输入模式（如磁力计和甲烷读数），即使在噪声高或采样稀疏的条件下也能保持预测准确性。神经网络特别擅长识别微弱的边缘信号，并能从稀疏数据中三角定位油井位置，这是线性模型无法实现的。此外，其适应不同数据密度的能力使该框架能够处理高分辨率输入而无需过度下采样。
4. 真实数据部署
将模型部署到真实世界数据需要进行多项调整。针对数据超高分辨率（100 Hz）的特点，采用了动态位置编码策略，独立计算每个传感器的位置编码，避免了重建整个空间网格的巨大计算开销。为处理传感器读数中持续的尖峰干扰，在训练期间沿模拟飞行路径注入了受控的高斯凸起，这显著提高了模型在真实数据上的性能。为匹配真实传感器值的统计分布，根据真实异常振幅的经验分布估计的参数，用随机因子缩放每个合成油井的磁矩。最后，为了弥合真实飞行路径的随机性和不一致性，训练数据结合了磁偶极子模型衍生的合成传感器读数与从欧塞奇数据集中提取的真实飞行轨迹。
5. 结果
5.1. 预测处理
通过基于质心的匹配程序从模型输出中提取油井预测。计算相连的预测区域和真实区域的质心，并在Lp半径容差内进行比较，以计算精确率（Precision）、召回率（Recall）和F1分数作为主要评估指标。
5.2. 在合成数据上的性能
模型在合成数据集上表现出优异的预测准确性，对飞行路径稀疏性展现出很强的韧性。即使在飞行线间距高达140米（对应极其稀疏的采样）时，网络仍能实现超过90%的F1分数。在低于70米的线间距下观察到最佳性能，F1分数持续高于94%。鉴于真实无人机调查的平均转向间距约为47米，这些结果表明未来的调查可以以更低的成本覆盖更大的区域，同时保持高检测精度。
5.3. 在真实数据上的性能
当应用于真实世界的无人机调查数据时，模型识别出48个潜在的无记录遗弃油井。对照美国印第安事务局数据库中报告的87个已知油井进行评估，模型实现了71.2%的召回率和34%的精确率，大约每3个候选位置对应1个已确认的油井。通过与在可比飞行间距下的合成模型性能进行校准，估计真实数据模型的有效召回率可能接近90%。假设目标精确率为98%，进一步推断检测到的48个潜在遗弃油井中，大约有46个可能是真实的。
5.4. 对比分析
研究将提出的框架与几种常用于磁力计数据的标准聚类方法（包括MeanShift、OPTICS和DBSCAN）进行了比较。传统聚类算法难以处理真实飞行数据的高噪声水平和不规则空间分辨率，通常需要繁重的插值或下采样，这会降低信号保真度。比较结果显示，该框架实现了0.712的召回率，显著优于所有基线方法。在经典方法中，OPTICS表现最佳，但仍落后两倍多。除了检测性能，在计算考量上，该框架也更具优势，它直接对原始传感器观测值进行操作，无需重建密集空间网格，且推理时间与提供给模型的测量数量呈线性关系，消除了繁重的预处理和手动参数调整，大大降低了实际部署的操作复杂度。
6. 讨论
结果表明，这项基于Transformer的框架为处理磁力计数据以搜索无记录遗弃油井提供了一个强大而通用的解决方案。与传统基于聚类的方法相比，该模型在需要最少数据预处理或下采样的同时，实现了更高的召回率。其直接处理超高分辨率100 Hz数据的能力，为大规模调查应用提供了主要优势。除了遗弃油井检测，该架构在一系列遥感应用中都具有前景。模型整合异构传感器输入的能力，及其从合成数据到真实飞行数据所展示出的强大泛化能力，突显了使用基于物理信息的合成数据集进行训练的优势。未来，通过纳入更多真实世界数据和微调，预计模型的召回率和精确率将进一步提高。
7. 结论
该研究引入了一个基于Transformer的深度学习框架，能够直接从高分辨率磁力计数据中高效、准确地识别无记录遗弃油井。该方法通过利用动态位置编码和基于物理的数据生成策略，消除了大量预处理和下采样的需要。在真实飞行数据上测试时，该模型相较于现有聚类算法实现了更高的召回率，同时对噪声和稀疏性保持了鲁棒性。所提出的框架还为整合多种传感模式和适应新的调查条件提供了可扩展的基础。其架构自然兼容异构传感器输入，使得未来可以在同一建模框架内纳入甲烷测量、热成像或卫星衍生信号。通过展示从合成数据到真实数据的强大泛化能力，这项工作为环境传感领域灵活、可现场部署的神经网络开辟了道路。
