EndoUFM：利用基础模型进行内窥镜图像的单目深度估计

《Neural Networks》：EndoUFM: Utilizing Foundation Models for Monocular Depth Estimation of endoscopic images

　　

Xinning Yao|Bo Liu|Bojian Li|Jingjing Wang|Jinghua Yue|Fugen Zhou

摘要

深度估计是微创内窥镜手术中3D重建的基础组成部分。然而，现有的单目深度估计技术在面对手术环境中的变化光照和复杂纹理时，性能往往有限。虽然应用基础模型是一种提高深度估计性能的有前景的方法，但用于预训练的自然图像与目标内窥镜图像之间的领域差异导致了显著的语义感知缺陷。在这项研究中，我们提出了EndoUFM这一无监督单目深度估计框架，该框架创新性地利用双重基础模型来处理内窥镜图像，从而通过利用强大的预学习先验来提升深度估计性能。该框架采用了一种新颖的自适应微调策略，结合了随机向量低秩适应（RVLoRA）来增强模型的适应性，并使用了基于深度可分离卷积（Res-DSC）的残差块来改进对细粒度局部特征的捕捉。此外，还引入了基于掩码的平滑损失机制，以确保解剖结构内部的深度一致性。在SCARED、Hamlyn、SERV-CT和EndoNeRF数据集上的广泛实验表明，我们的方法在保持模型规模高效的同时，实现了先进的性能。这项工作有助于增强外科医生在微创手术过程中的空间感知能力，从而提高手术精度和安全性，对增强现实和导航系统具有重要的意义。我们的代码可在以下链接获取：https://github.com/RealMindyY/EndoUFM.