EAI-DMCU：一种受进化算法启发的扩散模型，用于概念的遗忘（即从模型中移除不再相关的概念）

《Expert Systems with Applications》：EAI-DMCU: Evolutionary algorithm-inspired diffusion model for concept unlearning

　　龙雪|尹欣瑶|宋斌
中国陕西省西安市西安电子科技大学综合服务网络国家重点实验室，710071

摘要
文本到图像（T2I）模型是指根据文本提示生成图像的模型。目前，扩散模型是预训练T2I模型中最突出的类别。然而，预训练的T2I扩散模型中不需要的概念“知识”在文本提示的引导下可能导致生成侵犯版权、具有攻击性或有害的内容，从而引发伦理挑战。为此，提出了概念遗忘任务，该任务要求模型不仅不能生成不希望的目标概念（即遗忘效果），还要保持其他非目标概念的生成保真度（即先验保留）。现有方法在遗忘目标概念时通常会显著降低非目标概念的生成保真度，暴露出先验保留方面的重大缺陷。受到进化算法的启发，我们从方向选择的角度解释了扩散模型中的概念遗忘任务。概念遗忘任务可以被视为在高维连续空间中进行的进化过程，受到群体选择的特定要求。因此，在概念遗忘任务中，非目标概念的先验保留能力取决于进化过程中非目标概念特征的保留情况。基于进化算法分析的见解，我们提出了一种新的概念遗忘方法，称为EAI-DMCU。我们将EAI-DMCU分为迭代进化阶段和方向选择阶段。在迭代进化阶段，EAI-DMCU保持目标概念上下文的交叉注意力图的不变性，保留其语义的同时保留非目标特征，最终提高其先验保留能力。在方向选择阶段，设计了一种特征空间解耦损失，以无监督地分离输入提示中的目标和非目标概念，从而提高保留和丢弃个体之间的区分度，并增强EAI-DMCU的遗忘效果。通过这种程序，EAI-DMCU指导扩散模型中的参数更新以实现概念遗忘目标。实验结果表明，EAI-DMCU在五种类型的概念遗忘任务（对象、艺术风格、名人、角色和裸体内容）中表现出优越的性能，从而验证了所提方法的有效性。

引言
文本到图像（T2I）任务是一种关键的多媒体内容生成任务，涉及根据文本提示生成图像，同时确保文本与输出图像之间的高度对齐和强语义一致性。预训练T2I模型的快速进步使这一领域取得了显著成功，实现了诸如艺术生成和定制肖像创建等多样化应用。由于网络爬取的数据集通常包含不安全的多媒体内容、个人隐私数据和受版权保护的材料，T2I模型在预训练过程中无意中学习了这些知识。恶意用户利用模型中的这些“知识”来制造多媒体内容（例如，生成假新闻图片或伪造名人和政治人物的照片），从而造成有害的社会后果和伦理问题。其中一个任务是多媒体取证（Abbas, Taeihagh, 2024; Rajesh, Maruthupermal, 2026; Siddiqui, Yang, Xiao, Fahad, 2025），它使用检测器来识别被篡改或合成的图像。然而，这种事后取证方法适应性有限，容易受到对手的规避和操纵（Liu, Khakzar, Gu, Chen, Torr, Pizzati, 2024a; Rando, Paleka, Lindner, Heim, Tramèr, 2022）。另一个任务是概念遗忘（Li, Chen, Zheng, Zhang, Gong, Wang, Chen, 2023; Shao, Tang, Yang, Wang, 2025; Zhang, Li, Yin, Zhang, Wang, Li, 2026），即从模型中移除这些不希望的概念的“知识”。鉴于过滤预训练数据集和重新训练模型既昂贵又容易导致生成保真度下降（Kim, Min, Yang, 2024; Rao, Schuhmann, Beaumont, Vencu, Gordon, Wightman, Cherti, Coombes, Katta, Mullis, Wortsman, et al., 2022），迫切需要成本高效、稳健且有效的方法来防止生成不希望的目标概念（即遗忘效果），同时保持非目标概念生成的保真度（即先验保留）。作为主流的T2I模型架构，扩散模型（Rombach, Blattmann, Lorenz, Esser, & Ommer, 2022）已成为多媒体安全研究的主要焦点，当前的T2I概念遗忘方法主要基于此模型构建。基于微调的概念遗忘方法是最具代表性的方法类别，其核心思想是利用微调将预训练扩散模型学习的目标概念分布映射到预定义的非目标概念（以下简称锚概念）的分布上，从而实现目标概念的有效遗忘。然而，尽管这些方法实现了目标概念的有效遗忘，但显著降低了非目标概念的生成保真度，表明先验保留不足。值得注意的是，扩散模型和进化算法的原理之间存在概念上的关联（Hartl, Zhang, Hazan, & Levin, Zhang, Hartl, Hazan, Levin, 2025）。作为一种生成模型，扩散模型被训练来预测注入的噪声，在训练过程中通过向数据点添加噪声来引入 corruption。在推理过程中，扩散模型迭代地去噪高斯分布，以产生类似于训练分布的结构化数据点。方向去噪过程对应于进化算法中的方向选择，其中每一步都添加少量噪声，类似于突变。概念遗忘需要更严格的方向选择，对突变和去噪数据选择施加约束，以去除不需要的特征并产生符合条件的无噪声样本。我们建立了扩散模型中的概念遗忘任务与进化算法概念之间的对应关系（Zhang et al., 2025）。术语对应表如表1所示。具体来说，训练数据集对应于初始种群，每个训练样本的潜在值 xt(i) 代表一个个体 zt(k)。去噪过程 zt→zt?1 可以理解为进化过程 Pk→Pk+1，逐步重建数据点结构，并类似于选择操作，引导种群朝着更高的适应度发展。每一步的轻微噪声减少对应于一个突变操作。概念遗忘的目标 minθLretain+λUf 与选择操作 max?∑iF(xi) 一致，有效去除不需要的个体。每个去噪轨迹映射到一个进化路径 τθ(c)=zT→zT?1→?→z0?π=P0→P1→?→PK，每个轨迹反映了一个个体的进化。多步去噪 ∏t=1T(zt?1|zt,c) 对应于多步进化迭代 ∏k=1KT(Pk|Pk?1)，逐步逼近目标分布以获得最优解。经过多步迭代去噪后获得的最终样本 z0?～?pθ(z|c) 与进化产生的最优个体 x* 一致，即 x*=argmaxxF(x)。

在扩散模型的概念遗忘中，损失函数通常包括一个噪声预测项和一个正则化组件。这里，噪声预测损失 ?diff=∥???θ(zt,t,c)∥2 扮演着适应度函数 F≈?? 的角色，噪声预测网络决定保留或丢弃什么，类似于进化种群中的适应度评估。概念遗忘惩罚项 L(θ)=Lretain+λUf 作为选择压力，加强与进化选择压力的配合，以去除某些概念。根据表1，我们进一步比较了概念遗忘和进化算法最基本的统一公式。概念遗忘可以抽象为：
minθEz,c～Dr,t,?∥???θ(zt,t,c)∥2︸preserve
normalgenerationability+λ·Uf(θ)︸suppress
targetconcept，
这类似于进化算法：
maxdynamics[E[Fretain(x)]︸preserve
usefultraits?λ·E[Fforget(x)]︸suppress
targettraits。
也就是说，概念遗忘可以被视为修改参数化的转换核 pθ(zt?1|zt,c)，而进化算法修改选择-突变动态 T(Pk+1|Pk)。本质上，这两种机制服务于相同的目的：重塑搜索景观，使与目标概念相关的轨迹或个体逐渐失去竞争力。因此，在进化过程中，选择操作和适应度函数的设计至关重要。因此，从进化算法的角度来看，现有方法中观察到的非目标概念生成保真度的下降主要归因于两个因素：
• 进化过程缺乏选择和保留相关基因的机制，导致它们从后代种群中消失。换句话说，非目标概念特征的不足保留导致生成保真度受损。
• 保留和消除基因之间的区分度差导致某些可保留的个体被错误地丢弃。也就是说，目标和非目标概念特征之间的区分度不足导致非目标特征被错误地视为目标特征。

受到进化算法视角的启发，我们提出了EAI-DMCU，一种用于T2I扩散模型的概念遗忘算法。图1展示了EAI-DMCU的总体框架。EAI-DMCU建立了潜在构建过程与进化过程之间的对应关系，并利用这种对应关系来指导文本到图像扩散模型中的概念遗忘。具体来说，EAI-DMCU分为迭代进化阶段和方向选择阶段。在迭代进化阶段，我们引入了一种基因/特征保留机制，以在每个个体中保留非目标概念特征。为了便于基因保留和重建，我们为目标概念和锚概念构建了提示集。根据从提示集派生的初始目标概念潜在值和锚概念潜在值，在初始进化阶段形成两个种群：一个包含目标概念，另一个包含锚概念。具体来说，该机制使用目标概念和锚概念提示进行并行生成。两个提示的交叉注意力图在去噪过程中相互作用，形成与目标概念上下文对齐的锚概念潜在值，这在概念上类似于进化算法中的遗传和突变。交互的注意力图保留了目标上下文的语义，即上下文中的非目标概念基因/特征，从而提高了EAI-DMCU的先验保留能力。由于目标概念上下文的交叉注意力图包含残余的目标概念信息（见第3.4节的分析），这些残余信息与非目标基因/特征结合在一起，从而妨碍了适应度函数区分可保留和可丢弃个体的能力。因此，在方向选择阶段，我们设计了一种特征空间解耦损失，以无监督地分离目标和非目标概念，从而提高保留和丢弃个体之间的区分度，实现目标概念的彻底遗忘和非目标概念的有效保留。作为选择压力惩罚项，特征空间解耦损失与适应度函数协同工作，优先选择更符合概念遗忘目标的个体。最后，根据当前迭代的进化结果，更新扩散模型的参数，从而完成一次概念遗忘迭代，然后进行新一轮的进化迭代。通过重复执行此过程，EAI-DMCU逐步更新T2I扩散模型的参数，最终实现概念遗忘。

我们的贡献如下：
• 我们提出了EAI-DMCU，一种用于T2I扩散模型的概念遗忘方法，包括迭代进化阶段和方向选择阶段。
• 在迭代进化阶段，我们引入了一种基因/特征保留机制，以在输入提示中保留目标上下文的语义，从而保护非目标概念特征并提高EAI-DMCU的先验保留能力。
• 在方向选择阶段，我们设计了一种特征空间解耦损失，以无监督地分离目标和非目标概念，有效区分可保留和可丢弃的个体，促进目标概念的准确遗忘和非目标概念的可靠保留。
• 实验结果表明，EAI-DMCU在五种类型的概念遗忘任务（对象、艺术风格、名人、角色和裸体内容）中表现出优越的性能。

本文的其余部分结构如下。第1节简要介绍了EAI-DMCU。第2节介绍了一些代表性的概念遗忘算法。第3节详细阐述了EAI-DMCU的技术细节。第4节介绍了实验配置的详细信息和基线。第5节提供了实验结果的分析和评估。第6节提出了结论。第7节概述了EAI-DMCU的局限性和讨论。

相关工作
本节提供了T2I扩散模型和与扩散模型相关的进化算法的概念遗忘的概述。

方法
在本节中，我们详细阐述了EAI-DMCU。如图1所示，EAI-DMCU分为迭代进化阶段和方向选择阶段。第3.1节提供了T2I扩散模型和机器遗忘的初步介绍。第3.2节提供了将进化算法与概念遗忘任务结合的形式化问题定义。第3.3节介绍了迭代进化阶段的关键元素：基因/特征保留机制。

实验
在本节中，我们首先介绍了四个评估任务及其相应的基准测试，然后解释了应用于每个任务的验证数据集构建和评估指标。此外，我们提供了EAI-DMCU的实现细节。最后，我们简要介绍了基线方法。

UnlearnCanvas基准测试上的性能比较
UnlearnCanvas基准测试包括50种风格和20个对象，我们在艺术风格和对象类别中对概念遗忘进行了实验。表6展示了EAI-DMCU与基线方法在UnlearnCanvas基准测试上的性能比较。“Unlearn 50 styles”列报告了遗忘50种风格概念的总体实验结果，其中结果是所有概念的平均值。EAI-DMCU在UA（Unlearned Concepts）任务上的平均准确率为98.65%。结论在本文中，我们提出了EAI-DMCU，这是一种针对文本到图像（T2I）扩散模型的新颖概念遗忘方法，旨在改进现有概念遗忘方法的先验知识保留能力。与之前的方法相比，EAI-DMCU显著提高了遗忘后非目标概念的生成保真度，表明其在保留非目标概念先验知识方面的能力有了显著提升。EAI-DMCU包括一个迭代演化阶段和一个定向调整阶段。

局限性与讨论对于跨类别非目标概念的先验知识保留仍有待改进。EAI-DMCU在同一类别内的非目标概念上表现出更好的先验知识保留能力。然而，EAI-DMCU在跨类别非目标概念的生成保真度方面存在局限性，其在不同类别之间保留先验知识的能力仍然不足。这一局限性将在我们后续的研究中得到改进。

作者贡献声明：Long Xue：概念化、方法论、形式分析、软件开发、初稿撰写；Yixin Yao：数据整理、软件开发、验证、可视化；Bin Song：监督工作、审稿与编辑。

利益冲突声明：作者声明他们没有已知的财务利益冲突或个人关系可能影响本文报告的工作。