用于神经网络架构搜索(Neural Architecture Search, NAS)的扩散进化算法(Diffusion Evolutionary Algorithm for Neural Architecture Search)

《Swarm and Evolutionary Computation》：Diffusion evolutionary algorithm for neural architecture search

　　

传统神经网络架构搜索（Neural Architecture Search, NAS）方法往往面临超参数调节困难且易陷入局部最优的问题，这限制了种群多样性并阻碍了对最优架构的搜索。本文提出DiffEvo-NAS，一种利用扩散进化算法（diffusion evolution algorithm）的新方法，该方法将进化过程解释为去噪（denoising）操作，将反向进化解释为扩散（diffusion）。通过引入方向性去噪（类似于定向选择）和添加微小噪声（类比于变异），算法在保持多样性的同时不断精炼个体，实现对搜索空间的有效探索并避免局部最优。在CIFAR-10和CIFAR-100数据集上的实验验证了DiffEvo-NAS的有效性，其测试错误率分别为2.55%和16.15%。在ImageNet数据集上，该方法取得了具有竞争力的性能，top-1错误率为24.61%，top-5错误率为7.44%。这些结果表明，DiffEvo-NAS在探索与开发（exploration and exploitation）方面均有显著提升，在种群多样性和架构性能上优于其他基于进化的NAS方法。作为该领域的一个里程碑，DiffEvo-NAS为NAS及扩散模型（diffusion model）与进化计算（evolutionary computation）的进一步融合奠定了基础。

论文解读：DiffEvo-NAS——基于扩散进化算法的神经网络架构搜索

一、研究背景与立项依据

神经网络架构搜索（Neural Architecture Search, NAS）旨在自动化设计高性能深度神经网络架构，其中基于进化计算（Evolutionary Computation, EC）的进化神经网络架构搜索（Evolutionary NAS, ENAS）通过选择、变异和重组候选架构来探索搜索空间。然而，现有ENAS方法存在显著缺陷：首先，固定遗传算子（如变异、交叉）或基于梯度的松弛方法难以在漫长搜索过程中自适应平衡全局探索（global exploration）与局部开发（local exploitation）；其次，种群多样性（population diversity）不足导致早熟收敛（premature convergence）于次优解，限制了新颖高性能架构的发现；此外，随机搜索在高维NAS空间中采样效率极低，而贪婪局部搜索易陷于局部极小。尽管扩散模型（Diffusion Model）因迭代去噪机制展现出强大生成能力与全局—局部平衡潜力，且其概念与进化过程存在类比关系（扩散类比反向进化、去噪类比进化选择），但此前尚未被系统性地引入ENAS框架以解决上述核心矛盾。因此，研究人员（Yu Xue等）开展本研究，提出DiffEvo-NAS框架，将扩散进化（Diffusion Evolution）原理迁移至NAS领域，利用方差调度的高斯噪声实现探索—开发的自适应切换，并通过概率密度估计维持种群多样性，以克服传统ENAS局限。该成果发表于《Swarm and Evolutionary Computation》。

二、主要关键技术方法概述

研究人员构建了DiffEvo-NAS框架，采用基于单元格（cell-based）的NAS搜索空间与编码策略将离散架构映射至连续隐空间。核心创新在于引入扩散进化更新机制：将进化代际更新视为由后验分布引导的去噪过程，反向扩散引入高斯噪声模拟变异；通过随时间衰减的反向扩散高斯项方差（variance scheduling）实现早期大方差促进全局探索、后期小方差转向局部精化。研究人员对比了三种密度映射函数——均匀分布（uniform）、核密度估计（Kernel Density Estimation, KDE）和高斯混合模型（Gaussian Mixture Model, GMM）估计个体邻域分布以指导去噪方向，并确定KDE最优；同时设计一致性生成器（consistency generator）实现单步扩散进化（one-step diffusion evolution, ABC variant）以降低计算开销。实验在CIFAR-10、CIFAR-100及ImageNet数据集进行架构搜索与训练验证，并设置多种主流ENAS及梯度/强化学习基线条照，辅以种群多样性指标（如平均成对距离、熵）与收敛性理论分析。

三、研究结果

Related work（相关工作）

研究人员梳理NAS分类，指出搜索空间定义与高效探索间的权衡及现有方法（梯度松弛、强化学习策略梯度、传统EC固定算子）在平衡探索—开发及维持多样性方面的不足，阐明引入扩散进化范式的必要性。

Preliminaries（预备知识）

阐述扩散进化方法基本原理：将种群进化建模为从复杂后验分布逐步去噪逼近精英分布的过程，反向过程添加高斯噪声；更新采用个体邻域适应度与分布的加权平均而非贪心选择，具备内在突变、杂交及生殖隔离特性，可发现多样化解。说明Cell-based NAS搜索空间及架构编码方式。

Diffusion evolution neural architecture search: Novel elements（扩散进化神经网络架构搜索：新要素）

详述DiffEvo-NAS算法流程：初始化架构种群→连续空间编码→每代通过密度估计（KDE/GMM/Uniform）计算邻域统计量→执行扩散进化更新（方向性移向高密度—高性能区域即方向性去噪 + 方差调度高斯噪声注入）→解码为离散架构→评估适应度。引入Consistency+ABC变体实现一步更新节省资源。明确区别于传统EC固定交叉/变异及梯度基DARTS类方法。

Experiments（实验）

在CIFAR-10上DiffEvo-NAS取得2.55%测试错误率，CIFAR-100上为16.15%；ImageNet上top-1错误率24.61%、top-5错误率7.44%，与SOTA相当或更优。多样性指标显示整个进化过程中种群多样性稳定维持，未出现急剧下降。消融实验确认KDE密度估计优于GMM与Uniform，方差调度机制是避免早熟收敛的关键。理论分析表明算法在给定条件下具收敛性保障。

Conclusion and future work（结论与展望）

研究人员总结DiffEvo-NAS成功将扩散进化引入NAS，通过扩散基种群更新引导架构空间探索并缓解早熟收敛；贡献包括框架提出、密度估计策略分析与一致性生成器设计、实验验证优越性。未来可探索更高效的密度估计、扩展至多目标NAS及结合视觉Transformer搜索空间。

四、讨论与结论翻译

本研究提出DiffEvo-NAS——一种融合扩散进化原理与进化神经网络架构搜索的新范式。该方法利用基于扩散的种群更新机制引导架构空间的探索，同时减轻早熟收敛问题。主要贡献包括：(1) 引入扩散进化NAS框架；(2) 分析密度估计策略并给出Consistency+ABC高效单步扩散变体；(3) 广泛实验证明本方法优于多种先进NAS算法，并深入阐释扩散进化增强NAS的内在机制——即通过扩散模型迭代去噪机制维持种群多样性、有效探索架构搜索空间并降低陷于局部最优的风险，为NAS提供了创新且有效的途径。