可通过模拟有限差分梯度方法对可训练的神经形态自旋电子硬件进行训练

《Nature Communications》：Trainable neuromorphic spintronic hardware Via analog finite-difference gradient methods

　　

摘要

自旋电子纳米神经元由于其固有的低输入非线性特性，为开发高效能、低能耗的硬件神经网络提供了有前景的途径。然而，训练这类网络仍然是一个主要瓶颈，因为这依赖于过于简化的设备行为模型，并且对设备的变化非常敏感。在这里，我们提出了一种硬件架构，通过实现设备内部的梯度生成来克服这些限制。首先，我们从理论上证明了磁隧道结能够产生可调且复杂的非线性响应，并通过实验进行了验证。在此基础上，我们采用模拟有限差分方法实现了具有一个或两个隐藏层的自旋电子神经网络的片上训练。我们在基于磁隧道结的神经网络中实验性地实现了设备内循环反向传播，尽管设备存在显著变化，仍实现了93.3%的分类准确率。在训练过程中，所提出的模拟神经元生成的梯度与数值计算得到的梯度非常接近，且没有增加计算开销。通过物理模拟，我们还证明了这种方法可以扩展到支持深度架构的训练。我们的结果为开发可靠、可训练的全模拟自旋电子神经网络铺平了道路，为下一代高效能人工智能硬件开辟了新的可能性。