通过冗余切片观测和逆向验证实现交叉视图定位

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Cross-view localization via redundant sliced observations and a-contrario validation

Slice-Loc是一种两阶段可靠性感知的跨视图定位方法，通过分割全景图像生成冗余观测，利用几何一致性筛选有效姿态，并基于反证理论提出NFA评估可靠性，在DReSS-D数据集上验证可将平均定位误差从4.47米降至1.86米，方向误差从3.42度降至1.24度，同时将超过10米的错误比例降至3%以下。

　　

张永军|熊明涛|万毅|夏桂松

武汉大学遥感与信息工程学院，中国湖北武汉430079

摘要

跨视图定位（CVL）通过将地面图像与航空参考图像进行匹配来确定相机的地理位置，使智能车辆能够在GNSS信号缺失的环境中实现离线自我定位。然而，大多数CVL方法仅输出单一观测结果（即相机姿态），缺乏测量学原理所需的冗余观测数据，这给通过观测数据的相互验证来评估定位可靠性带来了挑战。为了解决这个问题，我们提出了Slice-Loc，这是一种两阶段方法，它采用了一种称为“a-contrario”的可靠性验证机制。Slice-Loc不是将查询图像作为单一输入，而是将其分割成多个子图像，并对每个子图像估计3自由度（3-DoF）的姿态，从而生成冗余且独立的观测数据。然后，我们提出了一种几何刚性公式来过滤掉错误的3-DoF姿态，并合并这些有效数据以得出最终的相机姿态。此外，我们还提出了一种模型，通过估计错误警报的数量（NFA）来量化定位结果的有意义性，该模型基于子图像位置的分布。通过消除严重错误，Slice-Loc提高了定位精度，并有效检测出了定位失败的情况。在DReSS-D数据集上的跨城市测试中，Slice-Loc将平均定位误差从4.47米降低到1.86米，方向误差从342°降低到124°，性能优于现有最先进方法。代码和数据集可在此处获取：https://github.com/bnothing/Slice-Loc

引言

跨视图定位（CVL）通过将查询图像与航空地理参考图像进行匹配来估计地面相机的姿态。它通过建立两个视图之间的视觉对应关系来实现这一目标。航空图像成本效益高且覆盖范围广（Zheng等人，2020年；Srivastava等人，2019年），而地面图像则具有多样性、时效性和高分辨率（Feng等人，2018年）。结合这些优势，CVL支持自动驾驶（Maddern等人，2017年）、自然灾害测绘（Li等人，2025年）、跨视图语义分割（J. Ye等人，2024年）和跨视图物体检测（Sun等人，2023年）等高级应用。

跨视图地理定位通常分为两个阶段（Q. Ye等人，2024年）：粗略定位和精细定位。在粗略定位阶段，图像检索方法从庞大的数据库中选择参考图像（通常覆盖整个城市）。在精细定位阶段，使用该参考图像来确定查询相机的3自由度（3-DoF）姿态，即平面位置和方向。本文主要关注安装在车辆上的地面全景相机。假设相机的俯仰角、滚转角以及相对于地面的拍摄高度已经是已知的。参考图像是经过几何处理的正射影像图，包含RGB通道。

尽管最近的跨视图精细定位方法在精度方面取得了显著进展，但仍然不可避免地会出现定位失败的情况，导致较大的定位误差（Song等人，2023年；Xia和Alahi，2025年；Xia等人，2025b年）。现有研究试图通过分析定位热图的分布来估计定位不确定性（Xia等人，2022年；Fervers等人，2023a年；Fervers, Florian等人，2023b年），例如通过使用峰值响应来推断预测姿态的置信度（Xia等人，2023年）。尽管Top-k策略可以在一定程度上过滤掉潜在的错误预测，但由于场景结构和定位难度的差异，热图峰值与实际定位误差之间的关系因地区而异。因此，使用统一的标准来可靠地识别定位失败情况具有挑战性。

在这项工作中，我们将冗余观测定义为在同一相机在不同条件独立观测下获得的多个姿态测量值，这样就可以利用这些测量值之间的几何一致性来进行错误检测和可靠性评估。然而，大多数现有的跨视图精细定位方法仅从整体地面图像中估计单一相机姿态，缺乏满足这一定义的冗余观测数据。因此，基于几何一致性的失败检测从根本上来说是不可行的。

为了提高跨视图定位的精度和可靠性，我们提出了Slice-Loc，这是一个具有可靠性意识的跨视图定位框架，它明确地为相机姿态估计构建了冗余观测数据。如图1所示，与传统的端到端CVL方法不同，Slice-Loc将地面全景图像分解为多个水平视场（HFoV）有限的切片级图像。每个切片可以被视为同一相机在不同观测方向下的独立观测结果，从而为单个定位查询提供多个3-DoF姿态估计。这些切片级姿态估计共同构成了一个冗余观测集，通过相互几何验证可以稳健地推断出地面相机的姿态。具体来说，Slice-Loc采用了一种稳健的估计工作流程来识别几何一致的切片姿态，并合并有效数据以获得最终相机姿态。通过利用冗余性，可以有效识别和丢弃错误的切片级定位结果。

除了姿态估计之外，Slice-Loc还引入了一种基于a-contrario理论的原则性可靠性评估机制。我们推导出一个概率模型，通过综合考虑估计的切片级姿态的几何分散性和有效数据数量来评估定位结果的有意义性。这种公式允许计算错误警报的数量（NFA），该指标衡量在零假设下给定姿态一致性仅由随机机会产生的可能性。如果定位结果的NFA超过预定义阈值，则认为其不可靠，表明观察到的几何一致性不足以拒绝零假设。与基于特征相似性或热图响应的置信度评分不同，所提出的基于NFA的判据是任务依赖的，而不是数据依赖的，并基于概率论。因此，Slice-Loc不仅估计相机姿态，还为CVL提供了一个可解释且具有统计意义的可靠性指标。

我们的主要贡献总结如下：

• 我们提出了一种新颖的两阶段相机姿态估计框架Slice-Loc。该方法将地面查询图像分解为多个切片级子图像，并分别对每个切片进行定位，从而在单个CVL过程中构建多个条件独立的姿态观测数据。这些冗余观测数据实现了自我验证。通过将稳健估计与可靠性评估相结合，Slice-Loc建立了一个自动化且基于统计的CVL流程。
• 我们推导出一个概率判据，用于评估来自切片图像的3-DoF姿态集合的几何一致性。基于这一判据，我们开发了一种名为OSA-CVL的方法，该方法通过合并有效数据切片姿态来估计相机姿态。基于a-contrario理论，我们提出了一个模型来评估CVL结果的有意义性，从而有效识别定位失败情况，防止出现较大误差。
• 我们在VIGOR和DReSS-D数据集上进行了广泛实验，以验证所提出的方法。实验结果表明，Slice-Loc在定位精度方面显著优于现有最先进方法。更重要的是，实验验证了所提出的可靠性指标在检测定位失败和提高整体定位质量方面的有效性，从而实证证明了在CVL中引入基于NFA的可靠性评估的必要性。

本文的其余部分结构如下：第2节全面回顾了相关工作，包括基于检索的跨视图地理定位、细粒度跨视图定位和粗误差检测方法。第3节介绍了所提出的DReSS-D数据集以及通过深度图将地面图像投影到参考图像上的方法。第4节概述了所提出的Slice-Loc方法。第5节和第6节分别介绍了实验结果和讨论。最后，第7节总结了该方法的优势和局限性。

相关工作

相关工作

在本节中，我们回顾了与跨视图相机姿态估计和粗误差检测相关的工作。

问题与数据集构建

首先，我们概述了关于CVL数据集的问题陈述。随后，我们介绍了所提出数据集的具体细节。最后，我们提出了一种基于我们数据集建立像素级对应关系的方法。

提出的方法

在本节中，我们介绍了我们提出的方法：Slice-Loc。如图3所示，Slice-Loc方法包括三个步骤：（1）确定切片图像的3-DoF姿态；（2）估计相机姿态；（3）确定估计的可靠性。

具体来说，在第1步中，地面查询图像的水平视场（HFoV）被均匀划分为“切片”，并使用参考图像确定每个切片图像的3-DoF。

比较实验

在本节中，我们展示了CVL实验的比较结果。首先，我们描述了数据集、评估指标以及所提出的Slice-Loc方法的实现细节。然后，将Slice-Loc与现有最先进（SOTA）方法进行了比较。

讨论

所提出的Slice-Loc方法之所以能取得更好的结果，主要有两个原因：（1）它将整个全景图像分割成多个切片以生成冗余观测数据，然后应用稳健的估计过程来选择用于相机姿态估计的有用信息；（2）它计算切片图像姿态的NFA，以识别CVL中的有效几何模式并过滤掉错误的相机姿态。

为了进一步阐明Slice-Loc的定位性能，我们进行了消融研究。

结论

在这项工作中，我们提出了一种新颖的基于可靠性的跨视图定位方法Slice-Loc，用于确定地面相机的3-DoF姿态。Slice-Loc估计查询图像切片HFoV内的子场景的3-DoF姿态，并通过合并这些切片图像的姿态来估计相机姿态。基于a-contrario理论，我们为稳健估计和可靠性评估算法OSA-CVL提出了一个概率定义。

CRediT作者贡献声明

张永军：撰写 – 审稿与编辑、项目管理、方法论。熊明涛：撰写 – 原稿撰写、验证、方法论、调查、概念化。万毅：资金获取、概念化。夏桂松：撰写 – 审稿与编辑、方法论。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家重点研发计划（项目编号2024YFB3909300）、国家自然科学基金（项目编号42471470）以及武汉大学Ant集团和超级计算中心的支持。