基于LLM的多目标优化方法：用于生成物理真实感强且多样的3D人体动作

《IEEE Transactions on Evolutionary Computation》：LLM-Guided Multiobjective Optimization for Physically-Plausible and Diverse 3D Human Motion Generation

　　

摘要：

基于文本的3D人体运动生成旨在合成与文本描述在语义上一致的各种运动序列。大多数现有的生成方法将整个句子编码为单一的语义嵌入，这不可避免地会损害生成运动的语义一致性。此外，在长序列中，缺乏明确的物理约束往往会导致运动在物理上不合理的现象，尤其是在后半部分。为了解决这些限制，我们提出了LMPGen，这是一个将基于文本的3D人体运动生成问题表述为多目标优化问题的新框架。LMPGen无需引入额外参数，就能提高生成运动的多样性和质量。利用大型语言模型（LLM）的语义理解能力，我们将输入文本分割成细粒度的动作片段，每个片段都指导构建具有语义基础的目标函数。为了有效平衡相互冲突的目标，我们采用了一种进化算法（EA），并结合预训练的生成模型来初始化和引导种群进化。每个动作片段都充当一个语义锚点，引导搜索过程朝向多样且语义上准确的运动序列发展。此外，我们还将物理标准纳入优化过程，以确保生成的运动流畅、稳定且在物理上是合理的。在主流人体运动数据集上的实验结果表明，我们的方法在语义一致性和多样性方面均优于现有方法，为生成高质量、与文本对齐的人体运动序列提供了可靠的解决方案。