Pig3DNet: 基于猪特定参数化身体模型的多视图三维重建用于猪体测量

《Artificial Intelligence in Agriculture》：Pig3DNet: Multi-view 3D reconstruction with pig specific parametric body model for pig body measurements

　　

本研究提出了Pig3D，一个猪特异性可变形统计模型，以及一个基于RGB图像的新型两阶段多视图三维重建框架。在第一阶段，研究人员设计了一个深度神经网络Pig3DNet，用于在归一化三维空间中估计猪的形状和姿态参数。该网络不依赖三维监督，而是通过关键点和分割掩码的二维投影约束进行学习。研究人员提出了一个几何驱动视图质量与融合模块（GVQF），用于评估每个视图的几何可靠性，增强多视图特征融合，并自适应地强调提供更清晰结构信息的侧视图。在第二阶段，将第一阶段预测的形状和根姿态参数与标定的相机参数相结合，进行尺度恢复优化，从而在真实世界坐标中实现猪的精确三维重建。实验结果表明，所提方法在Pig3d-MV数据集上达到了80.19%的IoU（交并比）、96.21%的PCK@0.15（关键点正确率，阈值0.15）和6.93像素的RMSE（均方根误差）。五个测量参数包括体长（BL）、胸宽（CW）、臀高（HH）、腹围（AG）和胸围（CG），其中BL和HH达到了最高精度，MAE（平均绝对误差）和MAPE（平均绝对百分比误差）分别低于2.4厘米和5.74%。所提出的框架为精准畜牧业中的实际部署提供了有前景的潜力。

**研究背景与问题**
在现代集约化畜牧业中，猪的精确表型测量对优化育种策略、提升生产效率以及保障动物福利至关重要。传统的接触式测量方法（如卷尺、测量杆）不仅繁琐耗时，还会对猪造成应激，影响其健康和生产性能。因此，开发非接触、自动化且低成本的测量方法成为迫切需求。现有三维重建方法受限于姿态变化、遮挡以及高硬件成本，尤其在非受控自由移动环境中实现精确体尺测量尤为困难。基于深度相机的点云方法存在数据稀疏、几何重建不稳定、设备昂贵且对环境敏感（如强光、高湿、粉尘）等问题。参数化身体模型（如SMAL）虽能提供紧凑的表示，但直接应用于猪时缺乏物种特异性，而现有猪模型（如PIG模型）未构建学习到的低维形状空间。为此，研究人员开展了本研究，提出了猪特异性参数化身体模型Pig3D和基于多视图RGB图像的两阶段三维重建框架，旨在克服上述局限，实现稳健、精确且可部署的猪体尺测量。

**主要技术方法概括**
研究人员构建了猪特异性参数化身体模型Pig3D，该模型包含41维形状参数（β∈?⁴¹）和姿态参数（θ∈?^35×3），通过主成分分析（PCA）从48个手工编辑的拓扑一致形状样本中学习形状空间。核心网络Pig3DNet采用DINO（自监督视觉变换器）提取全局语义特征，并通过几何驱动视图质量与融合模块（GVQF）评估各视图几何质量（基于凸包面积和PCA各向异性比），以自适应加权融合多视图特征。训练中采用加权关键点重投影损失、加权Tversky掩码损失及跨视图一致性引导损失（?_mv），在归一化三维空间中进行结构参数学习。第二阶段的尺度恢复优化基于改进的SMALify方法，仅优化第一个形状参数β₁，通过标定相机参数将网格映射到真实世界尺度。体尺测量通过姿态归一化（设置姿态参数为零）后，利用Pig3D模型的固定顶点索引直接计算。样本队列来源于广东梅州猪场，采集了7头猪（5头训练、2头验证）和30头猪（测试）的同步多视图视频及人工体尺真值。

**研究结果**

**4.1 实验平台**
所有实验在配备NVIDIA GeForce RTX 3080 GPU（12GB显存）的工作站上进行，软件环境包括CUDA 11.7、Python 3.8、PyTorch 1.13.0和PyTorch3D 0.7.2。训练采用RMSprop优化器，初始学习率1×10^-4，批次大小4，共450个epoch，在200和400个epoch时学习率衰减10倍。损失系数设为λ₁=0.5、λ₂=10、λ₃=1，并采用视图交换策略增强鲁棒性。

**4.2 Pig3D模型与SMAL的定性比较**
通过可视化对比Pig3D与通用SMAL模型的重建结果，SMAL在二维投影上表现尚可，但其三维网格无法准确捕捉猪的解剖形态，存在偏差。而Pig3D重建的网格在形状空间内合理且几何保真度高，凸显了物种特异性建模的优势，为后续高精度体尺测量奠定了基础。

**4.3 Pig3DNet在Pig3d-MV数据集上的评估**
在缺乏三维真值的情况下，采用二维重投影精度评估重建质量，指标包括IoU、PCK@0.15和RMSE。所有指标在Pig3d-MV测试集上计算并取均值。
**4.3.1 消融实验**：首先比较不同骨干网络（ResNet50、MobileNetV3、DINO_vit），DINO_vit表现最佳（IoU 72.56%，RMSE 8.11像素）。接着评估GVQF模块和跨视图一致性损失?_mv，单独加入GVQF使IoU提升至78.33%，RMSE降至7.96；同时加入两者后达到最佳性能（IoU 80.19%，PCK@0.15 96.21%，RMSE 6.93像素），表明两者互补。
**4.3.2 基于Pig3d-MV数据集的模型验证**：与单视图方法WLDO和BARC对比，Pig3DNet在所有指标上均显著领先（IoU 80.19%，PCK@0.15 96.21%，RMSE 6.93像素）。训练与验证损失曲线稳定收敛，无过拟合现象。可视化结果展示了从未断奶仔猪到成年猪在不同视图下的重建效果。
**4.3.3 相机数量消融**：改变同步相机数量（2、3、4个），重建性能随视图增加持续提升，但改进幅度递减。从2视图到3视图提升明显（IoU从75.28%到78.51%），3到4视图提升较平缓（IoU 80.19%），说明3~4个相机即可提供足够几何覆盖。

**4.4 尺度恢复优化的视觉验证**
可视化尺度恢复优化过程中重建网格在标定相机下的投影对齐情况。优化初期网格与真实轮廓存在偏移，随着优化进行，投影逐渐与图像边界吻合，最终实现精确对齐，证实了从相对空间到绝对尺度的成功转换。该阶段在CPU上处理四幅图像耗时62秒。

**4.5 基于三维网格的表型参数计算算法评估**
利用30头具有人工体尺真值的猪进行测试，每头猪重建25帧三维网格并平均测量值。体长（BL）、臀高（HH）和腹围（AG）误差较小（MAE≤2.8厘米，MAPE≤3.82%），胸宽（CW）和胸围（CG）误差稍大（MAE分别为3.1厘米和3.2厘米，MAPE分别为8.77%和3.59%）。分析认为CW和CG误差较大源于相机配置（俯视角落相机）导致侧视视差有限，而BL和HH精度较高得益于侧视图的清晰结构信息。

**讨论与结论**
**讨论部分总结**：
Pig3D模型通过物种特异性形态先验有效防止了几何失真，相比通用SMAL模型更准确地捕捉猪的解剖结构。Pig3DNet在归一化空间学习避免了相机布局差异带来的训练不稳定，GVQF模块自适应强调高质量视图（尤其是侧视图），缓解了遮挡和尺度模糊。尺度恢复优化实现了从相对空间到真实尺度的映射，使体尺测量可直接基于模型顶点索引进行，简化了流程并保持一致性。相机数量消融表明3~4个相机即可平衡精度与系统复杂度。局限性包括：训练数据中79.56%为低头姿态导致重建网格存在轻微背弓；胸宽和胸围误差较高源于相机视差不足；当前仅处理单猪场景，多猪场景需扩展数据集和关联推理策略。

**结论部分翻译**：
本研究开发了Pig3DNet，其是基于猪特异性统计模型Pig3D的两阶段多视图三维重建框架的核心神经网络。在第一阶段，Pig3DNet在归一化空间中学习一致的3D姿态和形状表示，其中所提出的几何驱动视图质量与融合模块（GVQF）增强了遮挡和视图不平衡下的多视图特征集成。在第二阶段，尺度恢复优化结合标定相机参数将重建网格映射到真实世界，从而实现精确且可解释的表型测量。实验结果表明，所提方法在Pig3d-MV数据集上超越了现有方法，达到80.19%的IoU、96.21%的PCK@0.15和6.93像素的RMSE，证实了其在精确三维重建中的有效性。在第二阶段，结合标定相机参数使重建网格可映射到真实世界坐标，实现精确体尺测量。恢复的网格在体长（BL）、胸宽（CW）、臀高（HH）、腹围（AG）和胸围（CG）上的平均绝对误差（MAE）低于3.2厘米，平均绝对百分比误差（MAPE）低于8.77%，展示了可靠的度量一致性。在性能效率方面，第一阶段的Pig3DNet在GPU上处理四幅图像耗时2.8秒（CPU上9.2秒），第二阶段的尺度恢复优化在CPU上耗时62秒。总体而言，所提出的框架为智能养殖系统中自动、非接触的猪表型评估提供了一种可扩展、低成本的解决方案。