通过多尺度信息瓶颈实现适应天气变化的跨视图定位网络

《Displays》：Weather-adaptive cross-view localization network via multi-scale information bottleneck

跨视角地理定位在恶劣天气下性能显著下降，本文提出WAMIB-Net网络，通过轻量级全局适配器模块抑制局部天气噪声，结合多尺度天气自适应特征增强模块消除雨雾雪等天气干扰，在CVUSA和University-1652数据集上取得89.18%和91.05%的R@1和AP值，验证了天气自适应增强的有效性。

　　

闵超|段丽娟|司白露|姜旭燕|李志军|李雷

北京工业大学计算机科学学院，北京，100124，中国

摘要

跨视图地理定位旨在通过匹配来自不同视角的图像来识别地理位置，以支持无人机导航和自动驾驶。然而，现有方法在晴朗天气条件下虽然有效，但在雨、雾和雪等恶劣天气条件下性能显著下降。由于缺乏在多种天气条件下捕获的成对真实世界跨视图数据集，我们采用了一种合成天气协议来模拟这些性能下降情况并评估模型的鲁棒性。为了解决这个问题，我们提出了一个适应天气变化的跨视图地理定位网络（WAMIB-Net）。首先，我们设计了一个轻量级的全球适配器，它在冻结预训练模型的同时隐式地去除块级天气噪声。接下来，我们引入了一个多尺度天气适应性特征增强模块，该模块能够自适应地去除各种类型的天气噪声。这两个模块共同作用，提高了模型在多种天气条件下的跨视图定位能力。我们的模型轻量级且训练参数极少，但仍能取得优异的性能。最后，我们在CVUSA和University-1652数据集上使用所采用的合成天气协议进行了实验，结果表明：在CVUSA数据集上，我们的方法分别获得了89.18%的R@1值和91.05%的AP值；在University-1652数据集上，分别获得了79.34%的R@1值和82.15%的AP值，显示出对评估的合成天气条件的强鲁棒性。

引言

无人机（UAV）和机器人的自主导航作为人工智能技术的典型应用场景，具有重要的研究价值和广泛的应用前景。在这些场景中，定位技术是场景感知和路径规划等下游任务的基础输入，其准确性和鲁棒性直接决定了这些任务的性能。基于视觉传感器的环境感知和理解因其成本效益和丰富的信息内容而成为主流的感知方法。因此，基于视觉的定位逐渐成为智能导航领域的一个重要研究方向。迄今为止，该领域已经进行了大量出色的研究[1]、[2]、[3]、[4]、[5]。然而，当前的主流定位技术通常依赖于全球导航卫星系统（GNSS）。在密集森林或高楼林立的城市峡谷等环境中，卫星信号容易衰减甚至完全被阻挡，导致传统基于卫星的定位性能大幅下降。跨视图地理定位（CVGL）为这一挑战提供了一种新的解决方案。CVGL不依赖于实时卫星信号，而是通过将实时地面图像与预先构建的卫星图像数据库进行比较来推断当前位置。这种方法最初由Lin等人提出[6]，旨在通过匹配来自同一地理位置但视角不同的图像来恢复空间位置信息。它使得可以从不同角度（例如卫星、街景和无人机航拍图像）捕获的多源图像进行联合处理，从而充分利用各种视角之间的互补信息。鉴于卫星图像的广泛可用性和覆盖范围，CVGL本质上具有几乎“无盲点”的定位潜力，在城市峡谷中的行人定位、自动驾驶、无人机导航和灾难救援等关键应用中具有显著优势。

跨视图地理定位的核心挑战在于构建对视角变化、尺度变化和场景复杂性具有高度鲁棒性的图像表示。该领域的技术发展经历了两个主要阶段。在早期阶段，人们使用手工制作的特征来进行跨视图匹配[7]、[8]、[9]、[10]、[11]。随着深度学习的进步，研究人员开始使用深度模型来提取特征以实现跨视图匹配[12]、[13]、[14]。尽管现有的跨视图地理定位方法在理想天气条件下取得了显著的成功，但在雨、雾和雪等多种天气条件下，它们的性能仍然会显著下降（如图1所示）。当前主流方法的根本局限性在于，它们的模型设计和训练过程通常假设天气条件是恒定和理想的，没有充分模拟现实世界天气因素引入的动态干扰。因此，当面对雨、雾和雪等恶劣天气条件时，这些模型难以提取出具有高度区分性和稳定性的跨视图特征，最终导致性能大幅下降和泛化能力不足。为了解决现有跨视图地理定位模型在泛化能力不足和在多种天气条件下性能下降的问题，本文提出了一个具有多尺度信息瓶颈的适应天气变化的跨视图定位网络（WAMIB-Net）。该网络首先使用参数共享的骨干网络从多视图图像中提取场景特征，然后通过两个处理阶段——特征纯化和自适应融合——最终生成一个不受天气条件影响的全局环境表示。

本工作的主要贡献如下：（1）我们提出了一个轻量级的全球适配器模块（GA），用于微调预训练模型。它在保留跨视图区分性特征的同时抑制块级天气伪影。

（2）我们设计了一个多尺度天气适应性特征增强模块（MSWA）。MSWA模块以微调后的骨干网络提取的场景特征作为输入。通过双分支多尺度特征交互和特征校准的特征纯化机制，它能够自适应地去除各种类型的天气噪声，生成更清晰、更具区分性的场景表示，显著提高了模型在复杂天气条件下的鲁棒性。

（3）我们在两个公开可用的数据集上使用合成天气协议进行了全面实验，并将我们的方法与几种主流方法进行了比较。结果表明，我们的方法在多种合成天气条件下始终表现良好。所提出的模型在模拟的天气变化下显著提高了特征的可区分性，有效解决了跨视图地理定位中的天气适应性挑战。

本文的其余部分组织如下：第1节介绍跨视图地理定位。第2节回顾相关工作。第3节介绍了基于多尺度信息瓶颈的提出的适应天气变化的跨视图定位网络。第4节通过比较实验验证了所提出模型的有效性。最后，第5节对本文进行了总结。

相关工作

相关工作

跨视图地理定位通常被视为跨视图图像匹配任务的一个特例[15]、[16]。跨视图匹配的目标是对齐由不同设备捕获的同一位置的图像；一旦一张图像包含地理坐标，其余图像就可以通过图像匹配进行定位。目前，主流的跨视图地理定位方法主要基于深度学习。现有方法大致可以分为三类。

WAMIB-Net概述

与常规任务相比，跨视图地理定位在多种天气条件下的定位还必须应对天气因素引入的干扰。在这种情况下，有效抑制天气干扰对图像匹配的影响对于提高跨视图地理定位模型的准确性和鲁棒性至关重要。为了解决这个问题，本文重点关注减轻天气干扰对跨视图图像表示的不利影响。

数据集和实现细节

CVUSA是一个用于跨视图地理定位的大规模数据集。它包含了在美国各地收集的数百万对地面和空中或卫星图像，旨在支持跨视图图像匹配和地理定位的研究。该数据集包含35,532对训练样本和8,884对验证样本。每对图像都存在显著的视角差异，使得该数据集适合研究和评估跨视图匹配算法。

结论

为了解决在多种天气条件下跨视图地理定位任务性能显著下降的问题，本文提出了WAMIB-Net，它结合了轻量级微调和天气抑制模块。引入了预训练的视觉基础模型DINOv2作为骨干网络，GA模块被设计为用于微调预训练模型的适配器，它在块级别隐式地抑制天气噪声，从而提高了模型的性能。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：段丽娟报告称获得了国家自然科学基金（编号62176009,62472012）的财务支持。司白露报告称获得了中国科技创新2030重大项目（2022ZD0205005）的财务支持。如果还有其他作者，他们声明没有已知的财务利益冲突或

致谢

本工作得到了中国科技创新2030重大项目（2022ZD0205005）和国家自然科学基金（编号62176009, 62472012）的支持。