一种量化神经网络和通用微分方程中分布外不确定性的新方法

《npj Systems Biology and Applications》：A novel approach to quantify out-of-distribution uncertainty in Neural and Universal Differential Equations

　　

摘要

动态系统在定量科学中扮演着核心角色，为描述、分析和预测复杂过程随时间的演变提供了强大的数学框架。在系统生物学中，动态系统为建模和预测生物系统的复杂行为奠定了基础。近年来，数据驱动方法（如神经常微分方程（NODEs）和通用微分方程（UDEs）的进步使得能够开发出完全或部分基于数据的模型。将数据驱动组件整合到动态系统中，加剧了模型泛化能力在训练数据之外的挑战，这凸显了需要稳健的方法来量化分布外（OOD）情景下的不确定性——即训练过程中未遇到的条件。在这项工作中，我们研究了基于模型集合的不确定性量化（UQ）在动态系统重建中的可靠性。我们发现，标准模型集合（即使用不同随机初始化独立训练的模型）在之前未见过的情景中可能会产生过度自信的预测结果，因为集合中的模型往往表现出相似的行为。为了解决这个问题，我们提出了一种新的模型集合构建方法，用于NODEs和UDEs，该方法能够在状态空间的特定区域内促进重建向量场的多样性，同时保持对训练集拟合的明确控制。我们首先在三个常用于数据驱动动态系统重建的基准模型上评估了我们的方法：Lotka–Volterra模型、阻尼振荡器和Lorenz系统。然后，我们将该方法应用于一个基于生物学原理的细胞凋亡模型，考虑了更现实的条件，例如系统输出的部分可观测性和训练数据集中的噪声。总体而言，我们的结果表明，与标准模型集合相比，所提出的方法提高了在之前未见过的情景中不确定性量化的可靠性，尤其是在后者表现出过度自信的情况下。