ICPE-FAS：实例与类别提示工程方法，用于实现通用化的面部防伪技术

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：ICPE-FAS: Instance and Category Prompts Engineering for Generalizable Face Anti-Spoofing

　　

摘要

基于领域泛化（Domain Generalization, DG）的面部防欺骗（Face Anti-Spoofing, FAS）技术旨在提升模型在未见过的领域中的性能。现有方法要么依赖领域标签来对齐领域不变的特征空间，要么从整个样本中分离出可泛化的特征，但这不可避免地会导致语义结构的扭曲，并且泛化能力有限。在这项工作中，我们利用了像CLIP这样的大规模视觉语言模型（VLM），并利用文本特征动态调整分类器的权重，以探索可泛化的视觉特征。具体来说，我们提出了一种结合实例和类别提示工程的新型CLIP用于DG FAS（ICPE-FAS），该模型包含两个文本分支：(1) 实例级内容提示学习（Instance-wise Content Prompt Learning, ICPL），通过两个轻量级变换器——内容Q-Former（Content Q-Former, CQF）和风格Q-Former（Style Q-Former, SQF）生成实例提示，分别利用一组可学习的查询向量来学习基于内容和风格特征的不同语义提示。可泛化的内容提示通过两项创新得以实现：(a) 引入了提示-文本匹配（Prompt-Text Matched, PTM）监督机制，以确保CQF学习到的视觉表示最能反映内容描述；(b) 提出了多样化风格提示（Diversified Style Prompt, DSP）技术，通过混合不同实例风格的特征统计来丰富风格提示的学习过程。最后，通过设计的提示调制（Prompt Modulation, PM）机制，将学习到的文本特征应用于视觉特征的泛化。 (2) 类别级分段提示学习（Category-wise Segmented Prompt Learning, CSPL），用于生成领域无关提示（Domain-agnostic Prompt, DaP）和领域特定提示（Domain-specific Prompt, DsP），这些提示可以作为分类器的权重，以准确抑制与领域相关的信号。广泛的实验表明，ICPE-FAS在多个跨领域基准测试中表现出色，性能优于现有最先进的方法。