基于Transformer的3D姿态估计流程，集成模块化SmoothNet技术用于动画生成

《Scientific Reports》：Transformer-based 3D pose estimation pipeline with modular SmoothNet integration for animation generation

　　

摘要

传统的3D人体姿态估计和动画生成方法仍然存在计算成本高和时间稳定性差的问题。为了解决这些问题，本研究开发了一种基于Transformer的3D姿态估计流程，用于空间预测，并集成SmoothNet作为外部模块化后处理组件以实现时间平滑。该流程使用ResNet提取图像特征，通过Transformer块编码全局依赖关系，并输出3D关键点以供后续重建使用。随后应用SmoothNet来减少预测姿态序列中的帧级抖动。我们在H3WB、AGORA和AthletePose3D数据集上使用MPJPE、PA-MPJPE、MPVE和加速度误差指标对整个流程进行了评估。此外，在H3WB数据集上引入了一种公平性控制协议，以在统一的SmoothNet后处理设置下比较MHFormer和所提出的主干网络模型，从而区分主干网络的效果与平滑效果。动画质量还通过Blender和Unreal Engine（UE）进行了进一步验证。