一种全数字异构内存计算技术，采用双比特序列化权重流和乒乓计算机制，以实现高效的Transformer加速

《IEEE Transactions on Circuits and Systems I: Regular Papers》：A Full-Digital Heterogeneous Computing-in-Memory With Dual-Bit Serialized Weight Stream and Ping-Pong Computing for Efficient Transformer Acceleration

　　

摘要：

视觉变换器（ViTs）在各种计算机视觉任务中表现出色。然而，在传统的冯·诺依曼架构中，变换器中的自注意力机制会导致较高的处理负载和昂贵的片外数据传输成本。本文提出了一种全数字异构计算-内存（CIM）技术，该技术结合了差分RRAM和SRAM，以实现高效的片上权重存储和灵活的行-列双向访问，从而加速变换器的运行。通过在不同CIM宏之间分配静态和动态计算，引入了“乒乓球”计算数据流来最大化吞吐量密度。提出了一种低切换权重调整算法，在双比特串行CIM方案下仅引入较小的权重舍入距离，从而最小化动态功耗。此外，还使用了一种补丁通道跳过机制来减少高稀疏性动态矩阵的冗余计算。在不同变换器模型上的实验结果表明，与传统的数字CIM相比，所提出的DBS-CIM架构可将层级计算能耗降低多达59.9%。与之前的同构CIM设计相比，它在端到端能效方面取得了显著提升，并且在计算密度上也优于现有的异构CIM设计。