SA4Depth：用于自监督单目深度估计的一致姿态-深度比例对齐方法

《IEEE Robotics and Automation Letters》：SA4Depth: Consistent Pose-Depth Scale Alignment for Self-Supervised Monocular Depth Estimation

　　

摘要：

基于单目序列的自监督深度估计依赖于深度网络和姿态网络的联合学习。尽管在深度网络方面已经进行了大量研究，但在姿态网络方面的研究仍然有限。在这种情况下，即使深度估计达到了正确的比例，我们也强调了姿态网络和深度网络估计的场景比例对齐的重要性。为此，我们提出了SA4Depth方法，该方法可以在不改变推理时间的情况下改善这种对齐，并提高深度预测的准确性。我们的方法利用训练过程中估计的深度信息，重新投影连续帧中的可学习视觉特征，并通过减少特征对齐误差来优化姿态估计。通过这种方法，由独立的深度网络和姿态网络估计的场景比例得以对齐，不同序列之间的预测比例一致性得到了提升。我们的可微分优化技术可以无缝集成到现有的自监督框架中，显著提高它们的深度估计效果。我们通过在KITTI、Cityscapes和NYUv2数据集上的大量实验验证了这一方法的有效性。此外，KITTI里程计实验结果也证实了我们的姿态优化技术的有效性。