Sea-out NeRF:用于水下无人系统的空间感知增强技术

《Pattern Recognition》:Sea-out NeRF: Spatial Perception Enhancement for Underwater Unmanned Systems

【字体: 时间:2026年03月28日 来源:Pattern Recognition 7.6

编辑推荐:

  本文提出Sea-out NeRF框架,整合水下物理成像原理,解决传统NeRF方法在动态环境中的不足,同时生成水下与清晰空气视图,扩展无人系统感知范围,支持复杂水下环境的导航与决策。

  
Jingchun Zhou|Tianyu Liang|Dehuan Zhang|Gemine Vivone|Qiuping Jiang|Minyi Xu
大连海事大学,信息科学与技术学院,中国大连,116026

摘要

水下环境对无人系统的空间感知提出了重大挑战,特别是在3D映射和导航等任务中,因为存在散射和衰减的影响。现有的水下场景恢复方法通常缺乏可靠的物理先验和全面的渲染模型,这限制了它们在大型或动态环境中的适用性。为了解决这些挑战,我们提出了Sea-out NeRF,这是一个将水下物理成像原理集成到神经辐射场(NeRF)中的新框架,以增强水下无人系统的空间感知能力。Sea-out NeRF同时生成水下和清晰空气的视图,从而扩展了感知范围,并促进了在复杂水环境中的导航和决策。通过将物理驱动的先验纳入体积渲染过程,所提出的方法实现了高质量的场景恢复,并支持多样化水下环境的灵活合成。在真实世界和合成数据集上的广泛实验证明了Sea-out NeRF的有效性及其在改善水下无人系统空间感知方面的巨大潜力。源代码可在https://github.com/Richard-Underwater/Sea-out-NeRF获取。

引言

由于太阳辐射的快速衰减,水下环境对环境感知提出了重大挑战,这严重限制了无人系统(如自主水下滑翔机和自主水下车辆)的操作效率。进入这些环境的光线亮度显著降低,同时散射和减弱加剧,导致图像质量下降[1]、[2]、[3]。这些物理现象表现为对比度低、色彩保真度降低以及细节结构丢失,从而阻碍了三维(3D)水下场景的精确重建。因此,这种退化对自主平台执行复杂任务的能力(包括在高保真3D映射和复杂海洋环境中的自主导航)施加了关键限制[4]、[5]。
此外,获取水下图像通常需要专门的昂贵设备,如水下机器人和专用相机。因此,标记的水下图像数据集不足,难以增强对这些环境的观察和理解[6]、[7]。此外,动态的海洋环境对感知系统产生了严重的不利影响,使得收集高质量的海洋数据变得困难。
鉴于这些不足,现有的研究工作主要集中在颜色恢复和细节增强技术上,以改善图像质量,经常使用先验知识或配对数据集。尽管这些方法在受控环境中有效,但它们在真实世界水下环境中的应用受到数据稀缺的限制,导致对新场景的泛化能力较差。此外,大多数现有方法仅关注图像恢复和拼接,而没有充分利用三维空间信息,从而导致拼接图像中的颜色不一致。
这些限制表明,水下感知方法不仅需要提高视觉质量,还需要建立场景的底层三维空间结构,以便进行其他后续的空间认知任务,如地图生成和导航。在这种情况下,新视图合成(NVS)提供了一个自然的解决方案,因为它有效地利用多视图观测来在统一框架中重建3D场景的几何形状和外观。
随着对水下场景3D重建需求的持续增长,出现了更多应用。新视图合成(NVS)是一种潜在的方法,可以解决生成新视图的问题。通过从稀疏观测中合成新视角,NVS能够在多个视图之间实现一致的三维空间推理,直接解决传统基于图像的恢复技术中3D信息不足的问题。具体来说,从不同角度拍摄场景的多张图像,然后重新创建原始图像之外的一些视图,以扩大观测范围而无需获取额外数据。通过结合计算机图形学和人工智能,NVS可以基于有限的输入图像重建整个场景,从而提高视觉分析的灵活性。
神经辐射场(NeRF)[8]通过在神经网络中隐式表示3D场景,在新视图合成领域取得了显著成果。与网格和点云等传统3D结构不同,NeRF使用MLP网络从各种视角构建场景的高清晰度图像,以实现空间特征表示学习。对于具有有限视图信息的复杂3D场景的详细渲染,NeRF采样空间点和相机光线方向。
与其他NVS方法相比,NeRF的光线追踪渲染过程可以轻松与来自不同领域的物理成像模型集成,增强了其在多种应用中的潜力。最近关于水下新视图合成的工作试图通过将NeRF框架与定制的成像方程相结合来解决扩大视野范围和恢复退化图像质量等挑战。这些方法在克服与受限视角和数据稀缺相关的限制方面表现出显著的效果。然而,现有的水下NVS方法往往严重依赖预定义的水下环境物理模型,这在具有挑战性的条件下往往无法有效泛化。特别是当水下图像内容在不同距离上的对比度变化不大时,仅依赖物理模型和无监督损失函数不足以实现一致且稳健的场景渲染。同时,现有方法无法准确捕捉水介质的干扰效应,导致新视图合成性能下降。
为了解决上述问题,我们提出了Sea-out NeRF,这是一个优化的神经渲染框架。基于光线追踪渲染算法,我们的方法结合了水下成像的物理定律,并引入了一种改进的场景分离方法。通过同时利用深度先验和介质一致性先验,实现了整个场景更真实的中介质散射效果,从而实现了准确的水下重建。
本工作的关键贡献如下:
(1) 现有的水下NeRF方法在模拟不同深度的介质效应(如散射和衰减)时存在尺度不一致的问题。我们提出了一种解决方案,确保了距离上的衰减一致,保持了水下场景的物理准确性。这种方法提高了不同深度和环境下的场景渲染保真度。
(2) 为了更好地处理水下场景恢复的复杂性,本研究通过将后向散射和前向散射明确纳入体积渲染过程,分析和重新设计了NeRF渲染模型,从而有效提高了模型的水下性能。
(3) 为了解决低质量水下图像中背景均匀性导致的深度估计不准确问题,我们引入了一种伪深度先验来指导深度预测。采用了一种尺度鲁棒的监督策略进行深度估计,从而提高了复杂水下场景中的深度预测准确性。

部分摘录

基于神经辐射场的方法

NeRF代表了一种新颖的3D场景表示范式,在逼真新视图合成方面受到了广泛关注。关于NeRF的持续研究不断改进其基础组件,包括采样策略、位置编码、MLP架构、渲染方程和损失函数。扩展NeRF的努力集中在改进这些组件上,以提高其性能和适用性。
例如,MipNeRF [9] 和 MipNeRF360 [10] 减少了远距离

水下成像模型

为了准确描述水体的特征,水下图像的恢复需要通过物理模型进行表示。已经提出了许多模型来解释水下成像的规则。本文介绍的方法基于Akkaynak和Treibitz [34] 提出的物理成像模型,该模型描述如下:Ic=Jce?βc(VD)×z+Bc(1?e?βcB(VB)×z)
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号