SGDNI：基于灵敏度引导的动态噪声注入技术，用于深度神经网络的鲁棒量化

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：SGDNI: Sensitivity Guided Dynamic Noise Injection for Robust Quantization of Deep Neural Networks

　　

摘要

深度神经网络（DNN）的量化是一种关键技术，旨在降低网络的计算和内存需求，尤其是在资源有限的环境中，如移动设备和嵌入式系统。通过使用较低的位宽来表示权重、激活值和梯度，量化方法能够有效减小网络规模并提高推理速度，而不会显著影响性能。然而，在网络规模和准确性之间找到合适的平衡仍然是一个持续的挑战，因为过于激进的量化方法可能会导致明显的准确性损失。在本文中，我们提出了一种动态量化的变体。该方法在量化过程中为卷积神经网络（CNN）的每一层分配不同的位宽。我们的新框架将动态量化与传统的浮点CNN中常用的可解释性技术相结合。该方法利用来自浮点CNN的特征图来识别网络各组件之间的内在关系。具体来说，我们为CNN的每一层计算基于梯度的重要性分数，这些分数决定了网络中不同位宽的动态分配。此外，我们还提出了两种专为量化阶段设计的鲁棒损失函数。在包括CIFAR-10、CIFAR-100、ImageNet和AgeDB在内的公开数据集上进行的广泛评估表明，与浮点架构相比，我们的量化技术仅导致0.7%的最低准确性损失，同时计算需求减少了88.1%。这使得我们的方法特别适合实际应用场景。