学习梯度流：利用方程发现技术加速工程优化过程

《COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING》：Learning gradient flow: Using equation discovery to accelerate engineering optimization

　　

格兰特·诺曼（Grant Norman）|康纳·罗文（Conor Rowan）|库尔特·莫特（Kurt Maute）|阿里雷扎·杜斯坦（Alireza Doostan）

摘要

在这项研究中，我们探讨了利用数据驱动的方程发现方法来建模和预测无约束优化问题的连续时间动态。为了减少目标函数及其梯度的计算成本，我们利用优化变量的轨迹数据来学习与梯度下降、牛顿法和ADAM优化算法相关的连续时间动态。然后，将这些发现的梯度流作为原始优化问题的替代方案进行求解。为此，我们提出了“学习梯度流”（Learned Gradient Flow，LGF）优化器，该优化器能够在用户定义的间隔内，在全维或降维空间中构建变多项式阶数的替代模型。我们在工程力学和科学机器学习的几个标准问题上验证了这种方法的有效性，包括逆问题、结构拓扑优化以及具有不同离散化方式的边界值问题的两种数值解。我们的结果表明，学习梯度流能够通过捕捉优化轨迹的关键特征显著加快收敛速度，同时减少目标函数及其梯度的计算成本。