基于多候选估计和近端优化的聚焦深度学习方法

《Electronics》：Learning Depth from Focus with Multi-Candidate Estimation and Proximal Refinement

　　

在本文中，研究人员提出了一种新颖的深度聚焦（Depth from Focus，DFF）框架，该框架将深度估计建模为能量最小化问题，并通过展开相应的迭代优化过程形成一个可训练的神经架构。给定一个焦点栈，一个深度特征提取器构建一个编码离焦和结构线索的学习焦点体。基于此表示，利用基于平面的概率公式生成多个候选深度图，同时注意力机制自适应地为每个候选分配像素级的置信度权重。深度估计通过一个迭代细化过程执行，其中每个阶段对应一个由轻量级条件网络实现的学习近端更新。这些更新结合了焦点一致性、自适应步长和学习正则化先验，使物理成像约束与数据驱动建模有效集成。一个最终的细化模块通过融合细化后的深度、焦点体特征和候选假设来估计残差校正，进一步提升预测精度。整个框架端到端训练，确保所有组件的协同优化。实验结果表明，所提出方法在低纹理和噪声区域尤其提高了鲁棒性和准确性，同时通过其基于展开的设计保持了可解释性。

**论文解读：基于多候选估计与近端优化的聚焦深度学习方法**

**研究背景**
深度估计是计算机视觉的核心任务，广泛应用于自动驾驶、机器人感知、三维场景重建及增强现实系统。现有技术分为主动法（如LiDAR、飞行时间相机）和被动法（如运动、立体匹配、聚焦变化）。其中，聚焦深度（Depth from Focus，DFF）方法利用单相机在不同焦点设置下捕获的焦点栈，通过图像清晰度与物距的关联推断深度，无需额外硬件，具有高效实用的特点。然而，传统DFF方法依赖手工设计的焦点度量算子，存在表征能力有限、易导致边缘渗漏、细节丢失及复杂场景深度估计不准等问题。基于深度学习的DFF虽改进了焦点体构建，但在深度提取阶段多采用简单的单步操作（如直接回归或可微soft-argmax），忽略了空间依赖和结构关系，导致边缘模糊、细节缺失及弱纹理区域的深度不一致。为克服这些局限，研究人员提出将深度估计建模为能量最小化问题，并通过优化展开技术将迭代优化过程转化为可训练神经网络，旨在结合物理成像原理与数据驱动学习，提升深度估计的鲁棒性和准确性。该论文发表在《Electronics》。

**主要关键技术方法**
所提出框架的核心技术包括：1）**特征体构建**：使用ResNet-18编码器-解码器网络提取输入焦点栈的多尺度焦点特征，并通过平均多尺度解码响应生成深度焦点体。2）**深度候选生成**：基于平面概率建模，对焦点体施加arg-softmax操作得到分布，并添加由候选特定残差头网络预测的校正项，生成多个候选深度图。3）**近端细化**：采用近端梯度下降（Proximal Gradient Descent，PGD）算法迭代优化深度估计，每一步包括梯度下降和近端步骤，其中近端算子由带有门控跳跃连接的U-Net风格网络实现，融合焦点一致性、自适应步长和学习正则化先验。4）**门控近端网络**：在近端算子中引入注意力门控机制，选择性传播空间特征，抑制无关激活。5）**残差细化模块**：将最终迭代的深度估计与焦点体特征拼接，通过卷积块预测残差校正，得到最终深度图。整个框架端到端训练，使用均方误差（Mean Squared Error，MSE）损失。实验在FlyingThings3D（FT）、Middlebury（MB）、HCI和DDFF四个数据集上进行评估，其中FT为大规模合成数据集，MB为真实世界基准，HCI为合成光场数据，DDFF为真实光场相机数据。

**研究结果**
- **消融研究**：研究人员在FT测试集上对不同迭代阶段的输出进行定性和定量分析。结果显示，经过三次迭代后，深度预测精度持续提升（MAE、RMS、AbsRel降低，Acc_1、Acc_2、Acc_3升高），结构边缘更锐利，重建伪影减少。超过五次迭代后改进边际化，甚至出现轻微退化，可能源于对中间校正的过拟合。注意力权重图可视化表明，注意力模块为不同候选深度分配稳定的空间置信度，最终深度预测来自多个假设的平衡组合，而非单一候选。在MB和HCI数据集上的评估进一步验证了模型在真实和合成场景中的泛化能力，预测深度图与真实值接近，保留结构细节和物体边界，这归因于近端细化框架有效整合了焦点相关图像线索与学习正则化先验。
- **对比分析**：在FT数据集上，所提方法与经典方法RFVR及深度学习方法AiFDNet、DWild、DFV-FV、DFV-Diff进行定量比较。所提方法取得最低MAE（1.46），相较第二优的DFV-Diff（MAE=5.51），相对提升约73.5%。在Acc_1、Acc_2、Acc_3和Corr指标上均最优。定性比较显示，所提方法在背景噪声抑制、物体边界保持和内部纹理处理上优于其他方法。在DDFF真实测试集上的定性对比也表明，所提方法能产生更清晰的物体边界和更一致的深度过渡，展现了在复杂真实场景中的鲁棒性。

**总结与结论**
研究人员提出一种基于优化展开的新型DFF框架，将深度估计定义为能量最小化问题，并通过可训练的迭代细化过程求解。该方法将物理成像原理与深度学习结合，在统一端到端框架中整合了学习焦点表示、概率深度假设、注意力引导置信度估计和近端优化更新。迭代细化策略逐步增强预测深度图，同时有效保留结构细节并减少挑战区域伪影。结合焦点一致性约束、自适应步长和学习正则化先验，模型在噪声和低纹理条件下的鲁棒性得到提升。在合成和真实数据集上的实验表明，所提方法在多个定量指标上持续优于现有经典和基于学习的DFF方法，且生成视觉准确、结构一致的深度图。该框架通过融合基于模型的优化和数据驱动学习，为深度图估计提供了可解释且有效的解决方案。未来工作将聚焦于实时应用、跨领域泛化以及视频场景中时间一致性的整合。