RLeHLDD：一种基于强化学习的人机交互框架，用于多领域深度伪造检测方法

《ADVANCED ENGINEERING INFORMATICS》：RLeHLDD: A reinforcement learning enabled Human-in-the-Loop framework for multi-domain Deepfake Detection approach

　　

Aparna Rajesh Atmakuri | K. Hemant Kumar Reddy

摘要

人工智能（AI）和机器学习（ML）的进步，尤其是在生成模型方面，使得深度伪造技术能够令人信服地模拟人类行为，从而使社交媒体、在线银行、电子商务和通信工具等平台越来越容易受到此类攻击的威胁。本文介绍了一种基于强化学习（RL）的三阶段深度伪造检测框架（RLeHLDD）。在第一阶段，该框架使用并行网络从空间（语义CNN）、频率（离散傅里叶变换）和压缩（误差级分析）三个维度获取特征信息。在第二阶段，通过自适应注意力加权融合技术结合不同类型的特征，根据输入特征学习如何突出关键信息。第三阶段将检测过程定义为马尔可夫决策过程，其中近端策略优化代理根据奖励信号选择将图像分类为真实、深度伪造或请求人工专家介入的策略，并通过奖励调整来平衡检测准确性和运行成本。该框架通过人类反馈不断更新策略和分类器，以应对不断演变的深度伪造攻击。利用多流特征，代理能够根据图像的不确定性进行分类、升级或分析操作，从而提高实时检测的准确性并保持最佳性能。实验结果表明，与基线CNN分类器相比，该方法将误分类率降低了约21%，同时将人工工作负担减少了30%以上。由于PPO在处理由人类反馈引入的非平稳奖励信号时具有稳定的策略更新能力，因此被选为该框架的核心算法。本研究采用了模拟的人类注释数据；未来工作仍需结合真实注释数据进行验证。