基于互对抗攻击(Mutual Adversarial Attack)的自适应融合(Adaptive Blending)人脸变形攻击(Morphing Attack)——MA3B

《Neurocomputing》：Mutual adversarial attack-based adaptive blending for face morphing

　　

摘要：人脸变形攻击(Morphing Attack)通过将多名个体的身份信息融合至单张变形(Morphed)人脸图像中，从而规避自动人脸识别系统(Automatic Facial Recognition System, AFRS)。本文提出一种创新的基于互对抗攻击的自适应融合(Mutual Adversarial Attack-based Adaptive Blending, MA3B)方法用于变形攻击生成。传统人脸变形方法采用均等半对半硬融合策略混合身份信息，而MA3B考虑不同个体面部区域特征对身份判别的重要程度差异，以生成高保真变形图像。具体而言，在融合两张人脸以合并身份时，MA3B利用加权掩膜(Weighted Mask)自适应地组合贡献受试者(Contributing Subjects)的隐空间编码(Latent Codes)，对不同面部区域的特征赋予不同权重。该过程的核心在于利用对抗攻击(Adversarial Attack)扰动人脸图像以掩盖或迁移身份，从而精确定位并无缝变换具有判别性的面部区域。得益于自适应融合策略，所提方法在多个主流基准数据集上表现优异，性能与现有变形生成技术相当。作为首次将对抗攻击与人脸变形攻击相桥接的探索，本研究证明了生成兼具逼真视觉质量且同时保留贡献者身份的变形图像的可行性，揭示了对抗攻击与变形攻击结合对当前AFRS潜在安全风险的警示。

论文解读：基于互对抗攻击的自适应融合人脸变形攻击研究（MA³B）

一、研究背景与动机

自动人脸识别系统（Automatic Facial Recognition System, AFRS）广泛应用于出入境证件、移动支付及门禁考勤等场景。在无人监督注册模式下（如电子护照自助提交照片），攻击者可通过提交篡改图像实施身份欺诈，其中人脸变形攻击（Face Morphing Attack）与对抗样本攻击（Adversarial Example Attack）是两类主要威胁。人脸变形攻击通过将两名或以上受试者的人脸融合为单张变形图像（Morphed Image），使其能与任一贡献者的注册模板匹配，突破"一图一人"的生物识别安全假设；对抗攻击则通过在图像中添加微小扰动误导AFRS分类。现有变形方法分两类：基于地标（Landmark-based）方法于像素级通过三角网格平均几何与像素，易在眼鼻口等关键区域产生伪影；基于生成（Generation-based）方法于隐空间对多张人脸的隐编码（Latent Code）做全局平均插值后由生成器重建，虽视觉真实但因均化丢失关键身份判别信息，降低对AFRS的欺骗率。研究人员（邓宗勇等，Sichuan University）指出，面部不同区域对特定个体身份识别的贡献度不同（如有人靠眼纹有人靠鼻型），因此提出用对抗攻击梯度信息定位身份判别区，以区域自适应的加权融合替代全局平均，在保留视觉质量的同时提升身份保持能力，并在《Neurocomputing》发表此项工作。

二、关键技术方法概述

研究人员提出MA³B（Mutual Adversarial Attack-based Adaptive Blending）框架，属基于生成式对抗网络（GAN）隐空间的变形方法。首先对两名贡献者人脸用预训练编码器映射至StyleGAN等模型的W/W+隐空间得各自Latent Code；其次对两幅源图实施互模拟对抗攻击（Mutual Impersonation Adversarial Attack）——即分别生成向对方身份迁移的对抗样本，利用目标AFRS反向传播梯度经注意力模块生成反映各面部区域身份重要性差异的加权掩膜（Weighted Mask）；再用此掩膜对各区域隐编码做非均等加权融合得混合隐向量，输入预训练生成器合成变形图像。为增强跨系统泛化性，研究人员采用集成多个AFRS模型计算对抗扰动以提升迁移性。实验选用FRGCv2（31,996张，部分训练编码器/生成器，964张正面照用于变形生成）、FERET及FRLL（Face Research London Lab）数据集验证。

三、研究结果

Related work

研究人员综述了人脸对抗攻击分为规避（Dodging，使系统拒识或误判为他人）与模拟（Impersonation，冒充指定目标身份）两类，指出模拟攻击可视作规避攻击特例，并梳理了基于地标与基于生成的既有变形攻击方法及其局限，为引入对抗梯度引导融合提供理论依据。

Method

研究人员给出模拟对抗攻击与人脸变形的形式化定义，详述MA³B流程：互对抗阶段生成双向对抗样本→通过Attention Module提取梯度幅值热图→归一化为加权掩膜→按区域加权求和两张脸的Latent Codes→生成器输出变形图像。优化目标兼顾视觉重建损失与对抗迁移损失，使变形图既能骗过AFRS又接近自然人脸流形。相比全局α=0.5的线性插值，区域加权能更多保留贡献者最具判别力的局部特征。

Experimental setting

数据集已前述。比对基线含经典地标法（α- blending + Delaunay三角）及数种生成基变形法（Latent Average Morph等）。评估指标含：Mated Morph Presentation Match Rate（MMPMR，变形图分别与两贡献者匹配成功的比率，越高代表身份保持越好）、视觉质量（FID、SSIM）及检测率（受商用/开源MAD工具检出比例）。对抗攻击以FaceNet、ArcFace等作为白/灰盒目标。

Conclusion / Results（结果归纳）

研究人员通过实验发现：(1) MA³B生成的变形图像在FID与SSIM上与主流生成法相当，无可见伪影；(2) MMPMR显著高于全局平均隐空间融合法，尤其在ArcFace作为验证系统时，证明加权掩膜更有效保留双身份信息；(3) 基于互对抗生成的掩膜优于单纯像素差分掩膜，因后者多捕捉肤色光照而非身份敏感区；(4) 集成多AFRS训练可提升对未知AFRS的攻击迁移性；(5) 部分先进Morphing Attack Detection（MAD）工具对MA³B检出率偏低，暗示其安全威胁。扩展版相较会议版改进了互对抗区域定位、集成训练策略及更充分消融实验。

四、讨论与结论翻译

研究人员讨论指出，本文首次证明对抗攻击知识可用于监督变形图像生成，通过梯度引导的加权隐空间融合兼顾视觉真实性与双身份保持，揭示当前AFRS在复合攻击（变形+对抗性区域加权）下的脆弱性，对人证合一查验系统及MAD算法设计提出新挑战。局限含目前局限于两两变形及StyleGAN隐空间，多人与跨姿态为未来方向。

原文结论总结翻译如下：

"本文研究表明，对抗攻击与变形攻击相结合会产生更严重的安全威胁。通过利用对抗攻击所得知识，所提框架生成注意力图并重加权各贡献受试者的隐编码。方法在多个基准数据集上验证有效，生成的变形图像兼具逼真视觉质量并能保留贡献者身份信息。作为首篇桥接对抗攻击与人脸变形攻击的工作，其结果凸显了此类复合攻击对现行AFRS的潜在风险。"