C-DPSS：面向脉冲神经网络(Spiking Neural Network, SNN)的通道双阶段稀疏剪枝(Channel Dual-phase Sparsity Pruning)框架

《Neurocomputing》：C-DPSS: Channel dual-phase sparsity pruning framework for spiking neural networks

　　

摘要：脉冲神经网络（Spiking Neural Network, SNN）已成为类脑计算的重要范式，在神经形态硬件上可实现优异的能效。然而随着网络规模增大，SNN在部署效率方面面临日益严峻的挑战。虽然结构化剪枝（Structured Pruning）提供了一种可行途径，但现有方法通常采用稠密到稀疏（dense-to-sparse）的训练模式，不仅训练过程计算开销大，也无法从训练初期利用稀疏计算带来的效率优势，且目前缺乏能在稀疏到稀疏（sparse-to-sparse）训练机制下强制实施结构化稀疏的有效框架。为弥补这一不足，研究人员提出了通道双阶段稀疏（Channel Dual-phase Sparsity, C-DPSS）框架。该方法利用动态稀疏训练（Dynamic Sparse Training, DST）实现高效的拓扑探索，同时逐步引入硬件友好的结构化稀疏。研究人员的方法基于一项经验观察：在特定训练机制下，通道级神经元活跃模式比突触权重更早趋于稳定。受此时间差异启发，C-DPSS在训练过程中采用双阶段显著度度量（dual-phase saliency metric），定义以神经元动态为主导的早期探索阶段，并平滑过渡至以后期突触效能为主导的精调阶段。研究人员在静态数据集与神经形态数据集基准上进行了充分的实验，结果表明C-DPSS实现了稳健的精度—效率权衡。值得注意的是，在CIFAR-10数据集上使用VGG-16网络时，C-DPSS在T=4和T=6时间步下达到50%通道稀疏度（channel sparsity），突触操作数（Synaptic Operations, SOPs）降低42.1%，且未观察到明显的精度下降，显示出结构化通道剪枝下良好的精度—效率平衡。研究人员还通过ImageNet-1K上的可行性研究进一步检验了该稀疏到稀疏结构化剪枝方法在大规模任务上的表现。代码已开源：https://github.com/JunLi0514/C-DPSS

论文解读：

《Neurocomputing》刊载的此项研究围绕脉冲神经网络（Spiking Neural Network, SNN，第三代神经网络，采用积分—发放Integrate-and-Fire动力学、阈值触发及稀疏激活机制进行离散脉冲信息处理）在深度架构下面临的参数存储量大、部署效率低等瓶颈展开。现有SNN压缩技术中，非结构化剪枝虽可在高稀疏度下维持低精度损失，但产生的随机稀疏模式难以被通用或神经形态硬件高效加速；结构化剪枝虽与神经形态硬件并行计算单元匹配，但主流方法依赖稠密到稀疏（dense-to-sparse）训练范式，需全程保存与计算全稠密梯度，内存与计算开销大，且无法在训练早期获得加速。动态稀疏训练（Dynamic Sparse Training, DST）可从头动态调整稀疏拓扑以适应突触重要性演化，已在人工神经网络（Artificial Neural Network, ANN）及SNN非结构化剪枝中初见成效，但直接迁移至结构化剪枝存在困难——核心难点在于从头训练稀疏SNN时，缺乏充分认知来判定哪些通道级线索足以支撑剪枝决策，导致现有DST方法局限于非结构化稀疏，无法产出硬件友好拓扑。因此，研究人员提出C-DPSS（Channel Dual-phase Sparsity Pruning Framework for SNNs），旨在稀疏到稀疏训练机制下直接获得具通道级结构化稀疏且适配硬件的高效SNN模型。

研究人员开展SNN在DST训练下的动力学分析，发现通道级神经元活跃度（neuronal activity）比突触效能（synaptic efficacy / synaptic weight magnitude）更早趋于稳定，即存在时间差异（temporal discrepancy）。基于此，设计了随时间演变的双阶段显著度度量（dual-phase saliency metric），训练前期依据更稳定的神经元动态评估通道重要性，后期过渡为依据突触权重幅值细化筛选，从而在稀疏到稀疏训练中可靠地完成结构化通道剪枝。实验验证C-DPSS在CIFAR-10/100、ImageNet-1K及DVS-CIFAR10（ neuromorphic dataset）上均取得良好精度—效率折衷，VGG-16在CIFAR-10达50%通道稀疏度且SOPs减少42.1%而无明显精度损失，证明其有效性。此项工作首次在SNN中实现稀疏到稀疏的结构化通道剪枝框架，揭示了SNN训练中神经元与突触线索异步稳定的现象，为SNN压缩提供了新的训练范式与理论依据。

——主要关键技术方法——

研究人员以VGG及ResNet系列SNN为对象，在静态数据集CIFAR-10/100、ImageNet-1K及神经形态数据集DVS-CIFAR10上开展实验。核心技术包括：（1）在DST稀疏到稀疏训练框架下，设定固定整体连接稀疏度，训练中动态生长/裁剪连接以维持拓扑演化；（2）设计双阶段通道显著度评分：早期阶段以各通道在时间维累积脉冲发放率（firing rate / neuronal activity）衡量通道重要性，后期阶段转为以该通道关联突触权重幅值（synaptic magnitude）衡量，两阶段间按预设调度函数平滑过渡；（3）按显著度对通道排序并实施渐进式结构化通道剪枝（保留/移除整个特征通道及其对应卷积核与连接），同步更新稀疏掩码；（4）以分类准确率及突触操作数（Synaptic Operations, SOPs＝时间步×非零突触连接×平均发放率近似）为评价指标，在T=4、T=6等时间步下测试不同目标通道稀疏度。

——研究结果——

Related works（相关工作）

研究人员综述了SNN四类压缩手段——剪枝（Pruning）、量化（Quantization）、知识蒸馏（Knowledge Distillation）及发放率抑制（Firing Rate Reduction），并按稀疏粒度（非结构化/结构化）与训练机制（dense-to-sparse / sparse-to-sparse）梳理SNN剪枝现状，指出现有结构化方法均依托dense-to-sparse流程，DST仅见于非结构化SNN剪枝，尚无在sparse-to-sparse下施加结构化通道正则的有效方案，由此确立研究缺口。

Methodology（方法）

研究人员首先给出所用SNN神经元模型（Integrate-and-Fire动力学）及损失函数形式。C-DPSS整体流程为：初始化随机稀疏权重连通性→每轮前向/后向传播计算梯度→按双阶段显著度指标评估各通道重要性→定期执行通道级别结构化剪枝（去除低显著度通道的全部连接）并对称地随机生长同数量连接至其他存活通道以维持全局稀疏度→迭代直至收敛。双阶段显著度S_c(t)定义为早期以通道平均发放活跃度为分子、后期以通道关联权重二范数为分子，通过连续调度因子λ(t)∈[0,1]线性或余弦插值融合两阶段得分。此设计利用神经元活跃模式先稳定的特性保证早期结构决策可靠性，后期借助突触幅值细化剔除冗余通道。框架最终输出具通道级结构稀疏的SNN，无需预训练稠密模型。

Experimental settings（实验设置）

研究人员先在VGG-16 + CIFAR-100的DST训练中实证分析神经元活跃度与突触权重显著度的演化曲线，确认通道神经元活跃分布在训练前中期即趋稳而权重幅值显著度需更久才分化，直观验证temporal discrepancy。随后在CIFAR-10/100（VGG-16、ResNet-19）、DVS-CIFAR10（ResNet-19 adapted for event-based input）及ImageNet-1K（ResNet-34/50变体SNN）上设置多组目标通道稀疏度（30%–70%）与Time step（T=4,6,8），以Top-1准确率及SOPs相对下降率为核心指标，对比基线dense-to-sparse结构化剪枝方法及SNN非结构化DST方法。

Results / Experimental Evaluation（实验结果——原文Section snippets中归纳）

在CIFAR-10 + VGG-16（T=4, T=6）条件下，C-DPSS于50%通道稀疏度时SOPs降低42.1%，分类精度与原始稠密SNN相当甚至微幅提升（无显著退化）；同等稀疏度下优于传统dense-to-sparse结构化剪枝（精度更高或持平且训练内存大幅缩减）及非结构化DST-SNN（后者无法获硬件友好加速）。CIFAR-100及DVS-CIFAR10实验显示类似趋势，随稀疏度升至60%–70%精度平缓下降，仍优于对照方法。ImageNet-1K可行性研究表明C-DPSS可扩展至大规模分类任务，在适度通道稀疏度下维持竞争力。消融实验证实双阶段显著度（early neuronal + late synaptic）显著优于单一指标（仅神经元或仅突触），且调度过渡区间长度对性能有影响，验证了temporal discrepancy驱动的调度策略合理性。

——讨论与结论——

研究人员总结指出，C-DPSS是首个面向SNN在稀疏到稀疏（sparse-to-sparse）训练体制下实现结构化通道剪枝的框架，通过经验发现并利用了SNN训练中通道级神经元活动早于突触效能稳定的时间差异（temporal discrepancy），据此设计了由神经元动态导向渐变至突触权重导向的双阶段通道显著度度量（dual-phase saliency metric），配合动态稀疏训练实现端到端高效拓扑探索与结构化稀疏施加。大量实验证明C-DPSS在静态与神经形态数据集上均能提供鲁棒的精度—效率权衡，VGG-16于CIFAR-10在T=4,T=6下达50%通道稀疏度且SOPs削减42.1%而无精度损失，展现了联合稀疏约束下SNN高效压缩的潜力；ImageNet-1K可行性研究亦表明其大规模适用性。该工作为SNN结构化压缩提供了不依赖稠密预训练的新路径，对资源受限场景下的神经形态系统部署具重要意义。