《Neurocomputing》:DVQE: Discrete variational quantum eigensolver for memory allocation in continual learning
编辑推荐:
持续学习系统在运行中普遍面临灾难性遗忘的挑战,即模型在学习新知识时会显著降低对已学任务的性能表现。经验回放通过维护历史样本的内存缓冲区来缓解该问题,但在多域场景下对有限内存进行最优分配仍是一个尚未解决的组合优化难题。研究人员提出DVQE(Discrete Va
持续学习系统在运行中普遍面临灾难性遗忘的挑战,即模型在学习新知识时会显著降低对已学任务的性能表现。经验回放通过维护历史样本的内存缓冲区来缓解该问题,但在多域场景下对有限内存进行最优分配仍是一个尚未解决的组合优化难题。研究人员提出DVQE(Discrete Variational Quantum Eigensolver,离散变分量子本征求解器),这是一种面向持续学习内存分配优化的量子-经典混合框架。该方法采用包含五种不同ansatz(量子电路架构)的参数化量子电路,并结合离散化机制以满足分配问题的整数约束。在CIFAR-10、CIFAR-100和Tiny ImageNet基准数据集上的综合实验表明,DVQE的性能可与贝叶斯优化(Bayesian Optimization,BO)、协方差矩阵自适应进化策略(Covariance Matrix Adaptation Evolution Strategy,CMA-ES)等当前最先进的经典优化技术相媲美,且仅需使用5个量子比特与适用于近期量子设备的浅层电路。基于五个随机种子的统计分析证实,DVQE在达到相当或更优性能的同时,所需的目标函数评估次数更少。据研究人员所知,这是变分量子优化首次应用于持续学习的内存分配领域,证明了量子方法在近期量子硬件上实现机器学习资源优化的可行性。
该研究发表于《Neurocomputing》。持续学习系统在处理流式数据时,常因新旧任务表征冲突出现灾难性遗忘,导致模型在历史任务上的性能显著下降。经验回放通过复用历史样本缓解该问题,但有限内存的多域分配属于带硬约束的NP难组合优化问题,现有启发式方法难以兼顾效率与最优性。量子计算为这类问题提供了新路径,其中变分量子算法可在近期含噪声中等规模(Noisy Intermediate-Scale Quantum,NISQ)设备上处理组合优化任务,但尚未被应用于持续学习资源分配场景。为此,研究人员开展DVQE框架研究,将内存分配建模为带约束的离散优化问题,通过参数化量子电路编码候选解,结合离散化机制满足整数约束,并以模型下游分类准确率作为反馈优化电路参数。实验结果显示,DVQE在多个基准数据集上与主流经典优化方法性能相当甚至更优,且仅需5个量子比特与浅层电路即可运行,验证了量子优化在该领域的可行性,为后续更大规模量子硬件的应用奠定了基础。
研究人员采用的核心关键技术方法包括:将多域内存分配形式化为带总和预算约束与最小分配约束的整数优化问题;设计五种参数化量子电路ansatz架构,结合warm-start初始化策略从贪心解出发加速收敛;开发离散化映射机制,将量子测量得到的连续概率分布转换为满足约束的整数分配向量;以ResNet-18作为基础模型,在CIFAR-10、CIFAR-100和Tiny ImageNet三个标准图像数据集上构建五域持续学习测试队列,对比DVQE与贝叶斯优化、CMA-ES的性能差异。
研究结果如下:
相关工作总结部分指出,现有持续学习研究多聚焦于表征稳定与回放策略,对内存配额优化关注不足;变分量子算法已在组合优化领域展现潜力,但缺乏与机器学习资源管理的交叉探索,本研究填补了该空白。
问题形式化部分明确,设持续学习任务包含t=1T共T个域,内存缓冲区总容量为B,需确定各域分配量xi(非负整数)满足Σxi=B且xi≥xmin,目标为最大化所有域的整体分类准确率A(x)。
方法学部分详述,DVQE通过参数化量子电路生成量子态,经测量得到各域分配的概率分布,再通过舍入与约束修正得到可行整数解;采用五种不同的ansatz结构验证电路设计鲁棒性,并通过经典优化器迭代更新电路参数。
实验部分显示,在CIFAR-10数据集上DVQE平均准确率达90.55%,优于BO的89.82%与CMA-ES的90.12%;CIFAR-100上达79.78%,同样领先于基线方法;Tiny ImageNet上以71.60%略低于CMA-ES的72.00%,但统计差异不显著。消融实验证实离散化机制与warm-start初始化对性能提升的关键作用,五类ansatz中Hardware-Efficient架构在噪声环境下稳定性最优。
讨论部分强调,当前实验规模下未观测到量子优势,研究核心价值在于建立可扩展的方法框架,随着量子比特数与电路深度的提升,DVQE有望在更大规模内存分配问题中展现潜力。
结论部分翻译:研究人员提出了DVQE,一种面向持续学习内存分配的变分量子方法。该技术将候选分配方案编码至参数化量子电路中,通过离散化机制满足整数约束,并基于下游任务准确率的经典反馈完成优化。在三个基准数据集上的实验表明,DVQE的性能与当前最先进的经典优化方法相当,且仅需5个量子比特与适配现有NISQ硬件的浅层电路。据研究人员所知,这是量子优化首次成功应用于持续学习资源分配领域,为量子机器学习在资源管理方向的后续发展提供了实证基础。