基于注意力机制图神经算子的离散结构参数化响应映射学习

《Engineering Applications of Artificial Intelligence》：Attention-based graph neural operators for learning parametric response mappings in discrete structures

　　

参数化分析离散工程结构需要重复进行有限元仿真，在设计探索中导致较高的计算成本。图神经算子（Graph Neural Operators, GNOs）作为一种有前景的替代建模框架，在图结构系统上的参数化解映射学习中展现出潜力；然而，现有方法在有效捕捉长程依赖方面仍存在局限。本研究提出了一种基于注意力机制的图神经算子（Attention-based Graph Neural Operator, AGNO），用于学习离散结构系统中节点索引特征变化下的参数化响应映射，特别是结构几何（通过节点坐标）和施加的节点荷载的变化。所提出的模型将核诱导图神经算子层（通过边条件消息传递模拟算子学习）与作用于图索引隐函数上的置换不变全局注意力机制相结合，形成统一的局部-全局算子架构。关键贡献在于通过这一局部-全局算子架构解决图神经算子在离散结构系统中的局部性局限。该构型能够有效建模非局部结构交互，同时保持拓扑感知的局部行为，并为基于图的结构响应问题提供了一个有原则的算子学习框架。该方法在涉及二维和三维桁架及框架的基准问题上进行了评估，包括网格细化研究和对更大结构系统的扩展。结果表明，AGNO在所考虑的基准上与现有基于图和算子学习的替代模型相比表现出较强的性能，在离散化细化和几何复杂性增加方面实现了更低的预测误差和改进的鲁棒性，同时保持了可比的计算成本。这些发现表明所提出的框架在测试条件下对离散结构系统参数化响应预测的有效性。

离散结构系统包括桁架、框架和基于网格的 assemblies，构成了工程结构中一类基本体系，广泛应用于桥梁、建筑和空间框架等土木及机械工程领域。这些系统由在离散节点处连接的独立结构构件组成，其力学行为由结构拓扑、几何、材料属性和施加荷载共同控制。由于这种固有的离散性和关联性，状态变量和响应量自然地表示为定义在图上的函数，其中节点对应于节点或楼层，边代表结构构件或相互连接。这种基于图的视角为描述不同建模保真度水平下的离散结构系统提供了统一的数学抽象。在许多工程应用中，结构响应必须在几何构型和荷载条件变化下反复评估，这类参数化分析出现在几何优化、设计探索和不确定性量化等场景中。尽管经典数值方法如有限元方法（Finite Element Method, FEM）能为单个实现提供精确解，但每当几何或荷载发生变化时，都需要完全重新组装和求解控制方程。在大规模参数化研究或迭代设计过程中，这导致了显著的计算成本，促使研究人员开发能够高效学习参数化响应映射的替代模型。

现有大多数替代建模方法以有限方式处理参数化变异性。传统降阶模型和许多数据驱动的替代模型通常假设固定域几何，仅关注偏微分方程（Partial Differential Equation, PDE）系数或荷载参数的变化。相反，考虑几何变异性的方法往往将控制方程视为固定。在几何和PDE参数上同时实现泛化仍然是一个具有挑战性且相对未充分探索的问题，特别是在高维设置中。这一局限性在离散结构系统中尤为突出，因为几何变化直接改变相互作用拓扑和全局荷载传递机制。

图神经网络（Graph Neural Networks, GNNs）因其处理图结构数据的能力而自然成为离散结构系统的学习框架。GNNs通过消息传递公式引入，并通过可扩展实现加以扩展，通过聚合来自相邻节点的信息来更新节点特征，从而将结构连通性直接嵌入学习过程。近期研究已证明基于GNN的替代模型在一系列力学相关应用中的有效性，特别是GNNs已被应用于离散结构系统，如桁架结构和受风荷载作用的高层建筑模型。更广泛的机器学习 approaches 也被应用于工程应用中的预测建模和过程优化，包括制造和材料处理中的ANN和ANFIS模型。

尽管GNNs非常适合基于图的表示，但它们从根本上受到局部消息传递的限制。每次更新在有限邻域上聚合信息，这意味着长程结构依赖只能通过层的深度堆叠来捕捉。这种有限跳跃依赖性可能导致过度平滑、训练难度增加，以及在建模受全局几何或边界效应影响的响应量时表达力受限。更重要的是，传统GNNs没有显式逼近函数空间之间的算子值映射，这限制了它们在网格细化下的鲁棒性，以及在几何和 governing physics 参数变化中泛化的能力。

神经算子通过 learning 无限维函数空间之间的映射而非固定维向量，提供了一种替代范式。DeepONet和傅里叶神经算子（Fourier Neural Operator, FNO）等架构在学习PDE解算子时展示了跨离散化的强泛化能力。近期进展开始显式处理连续域上域几何和PDE参数的联合变异性。特别是，微分同胚神经算子引入学习的几何变换将可变域映射到参考构型，而物理信息几何感知神经算子将几何编码器集成到物理信息训练框架中，以实现在PDE系数和域几何上的同时泛化。相关方向上，动态高斯图算子通过利用基于图的表示，将神经算子学习扩展到任意离散化域上的参数化PDE，实现跨变化离散化和几何复杂构型的泛化。这些研究突显了算子学习方法在建模复杂物理系统中的实际有效性和广泛适用性。

尽管取得了这些进展，现有的几何感知神经算子主要针对连续空间域 formulate，并依赖于基于坐标的表示或微分同胚映射。离散结构系统在根本上有所不同，其几何和连通性通过图拓扑而非仅通过连续空间坐标编码。几何变化可能不仅改变节点位置，还改变由图定义的全局力路径和相互作用模式。因此，将连续域神经算子直接扩展到离散结构并非易事，当前方法未能充分处理图索引结构系统中几何和 governing physics 的联合参数变化。

图神经算子将神经算子框架扩展到图索引函数空间，通过将消息传递解释为核积分算子的离散近似。这一表述在尊重图拓扑的同时保留了算子学习的关键属性，实现了离散相互作用域上的分辨率不变学习。然而，现有GNO表述仍然固有地局部，因为其相互作用域限制在图邻域内。因此，它们继承了标准GNNs在表示由全局几何、边界条件或分布式材料变化诱导的非局部结构依赖方面的相同局限性。

注意力机制提供了一个有原则的框架，通过在输入特征上的自适应、置换不变加权来引入非局部相互作用。大多数注意力模型允许统一的查询-键-值 formulate，其中首先通过查询和键之间的可学习兼容性函数计算注意力分布，然后通过值的加权聚合构建上下文表示。这一范式使每个位置能够有选择地整合来自整个输入集的信息。从算子学习的角度来看，注意力可以解释为数据自适应的非局部算子，其相互作用模式由输入状态动态确定，而非固定核，这使其特别适合捕捉由几何和 governing physics 同时变化引起的全局参数效应，尤其是在具有长程依赖的图结构域上。

近期工作探索了将注意力机制与神经算子集成以增强复杂函数映射的建模。基于Transformer的神经算子，如通用神经算子Transformer，采用成对自注意力捕捉连续域中的全局依赖。更近期，如网格信息神经算子等架构将图神经算子与交叉注意力机制结合，以在不规则网格上实现学习。

然而，这些方法主要为连续域函数学习而设计，其中函数定义在空间坐标上并在网格上离散化。相比之下，离散结构系统本质上是基于图的，几何和物理交互通过连通性而非仅空间坐标编码。此外，现有方法依赖成对注意力机制，且未显式 formularized 为图索引函数空间上的算子组合。这些局限性促使研究人员开发将局部图神经算子与针对离散结构系统定制的全局、置换不变注意力算子显式结合的算子学习框架。

基于上述观察，本研究提出了一种用于离散结构系统参数化分析的注意力机制图神经算子（AGNO）。所提出的框架将核诱导局部图神经算子层与作用于图索引隐函数上的置换不变全局注意力算子相结合。这种局部-全局算子组合能够学习一般节点索引输入特征的非局部响应映射。在该工作中，框架在结构几何和施加节点荷载的变化下进行评估。所提出方法的有效性在一系列二维和三维桁架及框架基准上得到了证明，包括网格细化和结构扩展研究，其中AGNO与现有基于图和算子学习的替代模型相比展示了改进的性能。

在具体实现层面，离散结构由图G=(V,E)表示，其中V表示顶点集，E表示边集。图拓扑定义了相互作用域，并假设在所有实现中固定。该研究采用通用符号?HF(Ω)?{h∣h:Ω→RF}表示向量值函数。图上的算子学习涉及逼近作用于离散图结构域上图索引函数的非线性算子。与在连续空间域上运行函数的经典神经算子不同，这里的底层域是表示离散物理系统（如结构或机械网络）的图。在此背景下，目标是学习参数化算子G_θ:H_F(V)×E_Fe(E)?H_Fu(V)。

在数据集构建方面，研究人员评估的参数化数据集对应于二维和三维设置中的桁架和框架结构。具体包括数据集生成和预处理的 procedures、网络架构和相关的超参数配置，以及训练协议和评估指标。所有实验均采用严格遵守可重复性原则的 computational setup。

数值结果部分评估了AGNO在多样化结构问题中的性能和泛化能力。考虑了五个代表性示例，包括二维和三维设置中的桁架和框架结构。对于每个示例，报告训练损失、验证误差和测试误差的演化以评估收敛行为和预测精度。此外，各示例特定的分析结果被详细呈现，包括网格细化研究和结构系统 scaling 研究。结果表明AGNO在预测精度和对离散化细化的鲁棒性方面优于现有方法。

该研究的结论部分指出，所提出的AGNO框架通过结合核诱导局部图神经算子层与置换不变全局注意力算子，实现了对离散结构系统中拓扑感知局部交互和非局部响应映射的有效捕捉。这一统一局部-全局算子设计为图索引结构响应问题提供了一个有原则的算子学习框架，在二维和三维桁架及框架基准上展示了改进的性能和泛化能力，特别是在离散化细化和几何复杂性增加的条件下。这些发现表明该框架在测试条件下对离散结构系统参数化响应预测具有显著的有效性，为工程设计和分析中的高效替代建模提供了新的途径。