利用像素间同步振动信号之间的隐含相关性来提高结构损伤检测的准确性

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：Using implicit correlations among synchronized vibration signals from pixels to improve the accuracy of structural damage detection

相位运动估计提取的同步振动信号作为深度学习训练数据，像素间隐含依赖关系通过多特征注意力网络量化利用，显著提升结构损伤检测精度。

　　

王岩|史玉红|卢红丽|左清华|侯宇凡|丁晓宇

北京工业大学机械工程学院，中国北京市海淀区100081

摘要

近年来，深度神经网络被越来越多地用于处理振动信号以检测结构损伤。然而，深度神经网络的有效性依赖于大量的振动信号，而这些信号在实际工程场景中难以获取。为了解决这一限制，引入了一种基于相位的运动估计（PME）技术，该技术将每个像素视为一个独立的传感器，从而可以从单个视频中提取出数百万个振动信号。PME不仅为深度神经网络提供了足够的训练数据，还确保了来自多个像素的信号在时间域上完全同步。来自多个像素的同步信号之间的隐含相关性（即像素依赖性）有助于提高损伤检测能力。然而，有效利用像素依赖性来促进损伤检测仍然具有挑战性。为了解决这个问题，提出了一种多特征注意力网络。创新地，量化了像素依赖性对损伤检测的贡献。通过为贡献较大的像素依赖性分配更高的注意力权重，该网络在损伤检测性能上取得了显著提升。所提出方法的有效性通过成功检测钢结构中的细微螺栓松动得到了验证，展示了其在结构损伤检测任务中的优越性能。

引言

在它们的使用寿命期间，工程结构会因环境、运行和人为因素而遭受退化、腐蚀、蠕变和收缩。结构损伤的识别、定位和量化对研究人员和工程师来说都是一个挑战。基于振动的结构损伤检测对于全面评估监测结构的性能变得越来越重要 [1]、[2]、[3]、[4]、[5]。

最近，深度神经网络在检测基于振动的结构损伤方面显示出巨大潜力 [6]、[7]、[8]、[9]。例如，Ragusa等人 [10] 提出了一种在压缩数据上训练的深度神经网络，用于传感器附近的振动诊断。Abdeljaber等人 [11] 开发了一种使用一维卷积神经网络的实时电机状态监测系统进行故障检测。Du等人 [12] 提出了一种端到端的方法，将声发射分析与注意力增强的深度学习模型相结合，以实现自动和准确的损伤诊断。Liao等人 [13] 提出了一种用于碳纤维增强塑料结构损伤定位和尺寸量化的方法，该方法结合了多尺度卷积神经网络和小型加权零设置自注意力模块。

尽管研究已经证明了深度神经网络在损伤检测中的潜力，但这些方法的有效性仍然依赖于高质量训练数据的可用性 [14]、[15]。传统的加速度计只能从有限数量的点捕获振动信号，这无法满足深度网络训练的要求。

为了解决这个问题，基于相位的运动估计（PME）这种基于机器视觉的方法 [16]、[17]、[18]、[19]、[20] 被用来捕获大量振动信号，以用于深度学习应用 [21]、[22]。通过PME方法，视频中的每个像素都可以被视为一个振动传感器；因此，可以从单个视频中获取数百万个振动信号。更重要的是，来自单个视频中所有像素的振动信号（即像素振动信号）在时间域上完全同步，来自多个像素的同步信号之间的隐含相关性（即像素依赖性）包含有助于损伤检测的宝贵信息，这与传统的振动采集方法（如加速度计）不同，后者无法确保信号的同步性，导致信号之间的依赖性无法被完全记录 [21]。

然而，之前处理像素振动信号（PVSs）的研究仅将它们视为独立的数据点，即利用大量的PVSs来增加训练样本 [22]；这种方法未能充分利用像素依赖性，而像素依赖性是提高检测准确性的一个因素。因此，PME的潜力在之前的研究中受到了严重限制。

有效利用像素依赖性来促进损伤检测仍然是一个挑战。到目前为止，所有基于PME的深度学习方法用于检测结构损伤都依赖于基于卷积的网络 [21]、[22]，这些网络使用固定大小的卷积核进行局部特征提取。这意味着它们更擅长提取相邻像素之间的关系，难以建立全局像素之间的连接（即长距离像素依赖性）[23]。

为了解决这个问题，本文开发了一种多特征注意力网络（MFA-Net），它可以进行长距离的像素依赖性计算，这与卷积核固有的局部感受野计算不同。MFA-Net还可以量化像素依赖性对损伤检测的贡献。然后，通过为贡献较大的像素依赖性分配更高的注意力权重，MFA-Net在损伤检测上取得了显著提升。所提出方法的有效性通过成功检测钢结构中的细微螺栓松动得到了验证，展示了其在结构损伤检测中的优越性能。

本文的其余部分组织如下：第2节描述了所提出的方法；第3节详细介绍了验证实验并讨论了结果；第4节检查了每个MFA-Net模块的影响（通过消融实验）并展示了全局像素依赖性；第5节讨论和第6节结论分别提供了讨论和结论。

部分摘录

方法

本节描述了所提出方法的一般框架，并介绍了相关概念，包括PME原理和MFA-Net，详细介绍了这些概念及其背景。

实验验证

框架结构在工业和土木工程中有许多应用，并在结构损伤检测方法的验证实验中得到了广泛使用 [22]、[36]、[37]、[38]，但准确识别、定位和量化结构损伤仍然具有挑战性。使用了一个带有可调螺栓的两层钢结构框架，在模拟各种损伤场景时，该框架可能会松动，以此来评估新损伤检测方法的有效性和精度。

MFA-Net中特定模块的效果

上面评估了所提出方法在损伤识别方面的性能。为了进一步了解核心MFA-Net模块的运作方式，进行了消融研究和参数可视化。

讨论

除了基于深度学习的方法外，还将所提出的方法与几种代表性的传统技术进行了比较，包括波能耗散 [42]、振动声学调制 [43]、时间反转 [44] 和冲击 [45] 方法，如表7所示。传统方法通常涉及复杂的信号采集程序、实验协议和定量指标，这可能会使它们的实际应用变得复杂。相比之下，所提出的方法展示了

结论

基于相位的运动估计使用像素传感器从少量视频中捕获数百万个在时间域上完全同步的像素振动信号。这确保了来自多个像素的同步信号之间的隐含相关性被完全记录下来，这些相关性对于提高损伤检测能力具有显著潜力。然而，之前的研究将这些信号视为独立的数据点，而忽略了有价值的像素依赖性，这些依赖性

CRediT作者贡献声明

王岩：写作 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，方法论，调查，形式分析，数据管理。史玉红：项目管理，资金获取。卢红丽：项目管理，资金获取。左清华：验证，调查，数据管理。侯宇凡：可视化，软件。丁晓宇：写作 – 审稿与编辑，撰写 – 原始草稿，监督，项目管理，资金获取，

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

作者感谢国家自然科学基金（授权号U2141217）的支持。