视觉变换器的剪枝策略：一项专题综述

《IEEE Open Journal of the Computer Society》：Pruning Strategies of Vision Transformers: A Specialized Survey

　　

摘要：

视觉变换器（ViT）模型正迅速成为解决各种计算机视觉挑战的首选方案。ViT具有大量的参数，导致计算和内存需求很高，通常超过传统的卷积神经网络（CNN）。尽管压缩技术在减轻这些负担方面已被证明是有效的，但由于CNN和ViT在架构结构、特征提取机制以及输入依赖性等方面的根本差异，基于CNN的剪枝方案无法直接应用于ViT。本文对ViT的剪枝技术进行了全面研究，这是第一篇专门针对ViT剪枝的综述。从多个角度分析了现有的剪枝方法，包括剪枝目标、粒度、剪枝计划、加速目标以及选择标准，以系统地了解它们的有效性。文章阐明了CNN和ViT剪枝方法之间的差异，指出了为什么传统的CNN策略不适用于ViT。通过对代表性方法进行定量比较，评估了计算成本、模型尺寸缩减和准确性保持之间的权衡。最后，为在资源受限的设备上部署提供了实用的剪枝指南，并讨论了未来的研究方向，以促进高效且考虑架构的剪枝策略的进一步发展。