二值神经网络向算法简单性收敛：对学习即压缩假说的实证支持

《Frontiers in Computational Neuroscience》：Binarized neural networks converge toward algorithmic simplicity: empirical support for the learning-as-compression hypothesis

　　

理解和控制神经网络的复杂性是机器学习的一个核心挑战，涉及泛化、优化和模型容量等方面。虽然大多数方法依赖于基于熵的损失函数和统计度量，但这些度量往往无法捕捉嵌入在网络结构中更深层、具有因果相关性的算法规律。研究人员提出向算法信息论（AIT）的范式转变，以二值神经网络（BNNs）作为首个代理模型。该方法植根于算法概率（AP）及其定义的通用分布，通过形式化、基于因果的视角来表征学习动力学。研究人员应用了块分解方法（BDM），这是一种基于AP的可扩展算法复杂性近似方法，并证明它比熵更能跟踪训练过程中的结构变化，在广泛的架构、数据集和随机训练运行中，通常与训练损失表现出更强的相关性。这些结果支持了将BNNs中的训练视为算法压缩过程的观点，其中学习对应于对结构规律性的渐进式内化。在此过程中，这项工作提供了一个关于学习进程的原则性估计，并提出一个基于信息论、复杂性、可计算性第一原理的复杂性感知学习与正则化框架。

本研究通过算法信息论的视角，对神经网络训练进行了原则性的探索。通过将块分解方法（BDM）应用于二值神经网络（BNNs），研究人员证明了算法复杂性比传统的熵（Entropy）是训练动态更敏感和稳定的指标。
在多个架构上的实证结果表明，BDM与训练损失的相关性通常高于熵，尤其是在较小的模型中，算法规律性在BDM下更为明显。这些发现为小二值神经网络中的训练作为一个算法压缩过程的观点提供了直接的实证支持，该过程将随机初始化转化为反映底层数据生成过程的结构化、可压缩的配置。对照实验（标签随机排列的MNIST和完全随机输入与标签的数据集）进一步强化了这一解释：在没有有意义结构的情况下，BDM的优势消失，其行为趋近于熵。这些结果证实了BDM捕捉到了学习固有的结构特征，超越了分布统计。重要的是，这些发现局限于小型二值神经网络的范畴，在此范畴内BDM提供了算法复杂性的有意义近似，并且对超出熵的结构规律性保持敏感。同时，研究人员并不反对使用基于熵的度量：本研究的分析依赖于对两种度量的比较，而熵在理论和实践中仍然是一个有用且成熟的统计压缩基准。
研究人员也强调，这些结果并未构成算法压缩的形式化证明，也非对最小描述长度（MDL）意义上的描述长度的直接评估。相反，它们提供了实证证据，表明在小型二值多层感知机（MLPs）的设定下，向更具压缩性的表示的转变是自然出现的，而无需显式的压缩目标。
总之，研究人员的结果凸显了算法复杂性度量在丰富我们对神经网络行为理解方面的潜力。它们为未来的工作开辟了新的方向，包括开发复杂性感知的训练机制、基于算法信息论的正则化策略、设计以因果可压缩性为指导原则的学习系统，以及BDM与其他复杂性度量（例如基于压缩的方法、图论度量、基于对称性的结构度量）之间的系统性比较，以更好地理解它们在表征学习动态中的互补作用。这一更广阔的视角在具有局部计算特性的新兴架构中尤为重要，例如稀疏神经网络、Transformer模型、混合专家（MoE）模型以及Kolmogorov-Arnold网络（KANs）。在这些系统中，BDM可能具有更大的优势，因为它特别适用于刻画模块化结构。
研究人员的工作有助于解决一个长期存在的挑战：将算法复杂性和算法概率——长期被提议作为通过通用归纳法解决人工智能的理论基础——整合到实践机器学习中。尽管这些概念在人工智能理论基础中具有基础性作用，但它们在很大程度上与神经网络训练相脱节。通过在二值化架构中通过BDM操作化算法复杂性，研究人员朝着弥合这一鸿沟迈出了一步，用基于因果的算法度量替代了像熵这样的统计代理。在此过程中，他们致力于在实践中实现学习的算法理论，将人工智能的基础原理更近地应用于现代机器学习。