Z-STAR+：一种零样本风格转换方法，用于调整风格分布

《Computer》：Z-STAR+: A zero-shot style transfer method adjusting style distribution

　　

摘要：

风格迁移是一个重要的挑战，主要问题在于如何确定合适的风格表示方式。传统方法使用基于二阶统计或对比学习的风格损失来约束风格化结果中的风格表示。然而，这些预先定义的风格表示方式往往限制了风格表达，导致出现人工痕迹。与现有方法不同，我们发现基本扩散模型中的潜在特征本身就包含了自然的风格和内容分布。这使得可以直接提取风格信息，并将生成先验无缝集成到内容图像中，而无需重新训练。我们的方法采用双重去噪路径在潜在空间中表示内容和风格参考，然后利用风格潜在代码指导内容图像的去噪过程。我们引入了一个跨注意力重加权模块，该模块利用局部内容特征来查询最适合输入补丁的风格图像信息，从而使风格化结果的风格分布与风格图像的风格分布保持一致。此外，我们还设计了一种可缩放的自适应实例归一化方法，以减轻风格图像和风格化图像之间颜色分布的全局不一致性。通过理论分析和大量实验，我们证明了基于风格分布调整的Z-STAR+方法的有效性和优越性。