PointHPS：基于点云的级联3D人体姿态与形状估计

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：PointHPS: Cascaded 3D Human Pose and Shape Estimation from Point Clouds

人体姿态与形状估计（HPS）从3D点云中研究需求迫切，但存在数据噪声、不完整及多样性不足问题。本文提出级联架构PointHPS，通过跨阶段特征融合（CFF）和中间特征增强（IFE）模块，迭代优化点云特征，在合成与真实混合的大规模数据集（实验室采集多场景+合成拥挤场景）上验证，性能显著优于现有方法。

　　

摘要

近年来，人体姿态和形状估计（HPS）受到了越来越多的关注。虽然大多数现有研究都集中在具有固有深度模糊性的2D图像或视频上，但随着深度传感器在商业设备中的广泛应用，对3D点云进行HPS的研究需求也在迅速增长。然而，现实世界中的传感器采集到的3D点数据通常存在噪声且不完整，同时人体姿态也具有高度多样性。为了解决这些挑战，我们提出了一个基于原理的框架PointHPS，用于从真实环境中的点云中进行精确的3D HPS。该框架通过级联架构迭代地优化点特征。具体来说，PointHPS的每个阶段都执行一系列下采样和上采样操作，以提取和整合局部和全局线索，并通过两个新颖模块进一步增强这些线索：1)跨阶段特征融合（CFF），实现多尺度特征传播，使信息能够在各阶段之间有效传递；2)中间特征增强（IFE），用于在每个阶段后提高特征质量。值得注意的是，以往的点云HPS基准测试使用的数据要么是设置过于简化的合成数据（例如SURREAL），要么是多样性有限的真实数据（例如MHAD）。为了在各种场景下进行全面研究，我们在两个大规模基准测试上进行了实验：i)一个包含在实验室环境中由真实商业传感器捕捉到的多样化主体和动作的数据集；ii)包含在拥挤户外场景中、带有真实场景考虑因素（如穿着衣物的人）的受控合成数据。大量实验表明，PointHPS凭借其强大的点特征提取和处理方案，在各项指标上均显著优于现有最先进方法。消融研究验证了由CFF和IFE驱动的级联架构的有效性。预训练模型、代码和数据将公开提供，以促进未来对点云HPS的研究。官网：https://caizhongang.github.io/projects/PointHPS/。