图灵通用神经网络不需要全局时钟

《Nature Communications》：Turing universal neural networks do not require global clocks

　　

摘要

20世纪90年代，人们证明了循环神经网络具有图灵通用性，这推动了人们对脉冲网络、具有可微分激活函数的神经图灵机以及变换器（transformers）的计算复杂性研究。当时，神经网络还处于探索阶段且规模较小，而如今大规模应用使得能源效率变得至关重要。因此，我们将神经网络的计算基础扩展到了异步网络领域。异步性是通过每步随机选择一个神经元进行更新来实现的，这种方式消除了全局更新，从而降低了能源消耗。尽管异步性会导致更新序列的不确定性，因此常被认为不适用于计算任务，但我们引入了一些设计约束，从而构建出了具有图灵通用性的异步架构。我们证明了无论是采用精度可变神经元的异步固定架构，还是采用精度固定神经元的可变架构，都具有图灵通用性。这些成果加深了人们对异步网络的理论理解，表明异步网络能够保持完整的计算能力，同时仍适合高效训练，并有可能大幅降低能源使用量。