自适应流形曲率正则化：一种基于密度感知的深度学习几何框架

《Knowledge-Based Systems》：Adaptive manifold curvature regularization: A density-aware geometric framework for deep learning

　　

Nabil Mlaiki

摘要

我们提出了自适应流形曲率正则化（AMCR）方法，这是一种利用几何概念对神经网络进行正则化的新方法。其核心思想是对学习到的表示中的曲率进行惩罚，并根据训练数据的局部集中度来调整惩罚程度。与之前在所有地方都保持单一约束的基于曲率的方法不同，AMCR在低密度区域会放大曲率惩罚——在这些区域几何估计不可靠，且虚假曲率最难检测；而在高密度区域，任务损失已经提供了强有力的监督，因此会减轻惩罚。我们通过基于Rademacher复杂度的泛化界限、最优密度指数的变分表征以及随机优化的收敛性分析提供了理论支持。实验观察到的值$\alpha =0.5$' role="presentation">$\alpha =0.5$与理论标准一致，但应将其视为通过交叉验证选定的、依赖于数据集的指导原则。我们的算法在高维环境中也能有效运行，并且实现效率较高。目前的实验是在一个合成的二维数据集上进行的；在标准基准测试上的评估则是未来的工作内容。