将生成式人工智能范式与“人在回路”（Human-In-The-Loop）技术相结合，以实现3D内容的生成

《IEEE Transactions on Visualization and Computer Graphics》：Orchestrating Generative AI Paradigms with Human-In-The-Loop for 3D Generation

　　

摘要：

生成式人工智能技术正在彻底改变3D和沉浸式内容的创作方式，但仍存在一些挑战，例如在3D生成过程中实现精确的用户控制。目前的文本到3D和图像到3D的转换流程往往会产生与用户预期不符的输出，缺乏有效优化或修正生成模型的能力。为了解决这些限制，我们提出了Imagin3D这一新颖的“人在回路”（HITL）系统，该系统整合了多模态大型语言模型，以提高3D内容生成的可控性和适应性。Imagin3D利用多视图问答模块来评估生成视图与用户提供的文本描述之间的一致性，通过引导式修复实现迭代优化，同时保持多视图的一致性。这使得用户能够共同创建3D模型，然后利用神经渲染技术将这些模型合成最终的3D资产。我们通过广泛的定量评估和全面的用户研究验证了Imagin3D的有效性，证明了它在提升交互式3D生成任务的可用性、准确性和用户满意度方面的作用。我们的研究结果凸显了HITL方法在弥合AI生成输出与用户意图之间的差距方面的潜力，为更易于使用、以用户为中心的3D生成工作流程铺平了道路。