一种用于卫星姿态估计的混合跨模态融合框架

《Aerospace Science and Technology》：A Hybrid Cross-modal Fusion Framework for Satellite Attitude Estimation

　　文思哲|乔思佳|张浩鹏|姚旭东|石振伟中国北京102206，北京航空航天大学航天学院摘要随着空间技术的发展，对智能化的需求日益增加。尤其是卫星相对姿态的估算，也就是3D旋转姿态的确定，是智能化航空航天领域中的关键问题。近年来，深度学习方法在利用单模态传感器数据，如单目图像、激光雷达点云或事件流进行卫星姿态估算方面取得了显著成效。然而，依赖单一模态往往会受到光照变化、外观模糊或传感器噪声等固有限制。多模态感知通过整合不同传感器的互补信息为解决这一问题提供了可能，但目前针对卫星姿态估算的有效融合策略仍需进一步探索。本文提出了一种混合多模态融合框架，结合特征级融合与决策级融合，以实现更可靠的卫星相对姿态估算。在特征层面，引入基于动态卷积的融合模块，以促进不同模态特征之间的适应性交互；在决策层面，专门的融合模块负责整合来自不同模态分支的姿态假设，从而在模态性能下降时提升估算的可靠性。这种混合设计使得网络能够在利用跨模态特征交互的同时，保持对不可靠传感器输入的鲁棒性。为评估所提框架，我们在自建的BUAA-SID-DEPTH（BSD）数据集以及公开的Event-Monocular Spacecraft（EMS）数据集上进行了大量实验，涵盖了图像+点云融合和图像+事件融合两种多模态场景。实验结果表明，与常见的单模态及多模态融合方法相比，所提方法在姿态估算精度上具有明显优势，证明了该混合融合策略的有效性与可靠性。引言航空航天技术的快速发展推动了多种现代太空任务的发展，包括主动清除碎片[1]、自主对接[2]以及在轨服务[3]。这些操作往往涉及那些结构已知但缺乏主动信标或基准标记的非合作目标。在这种情况下，精确的卫星姿态估算是至关重要的能力，因为追踪卫星必须准确判断目标的相对方位，才能确保近距离操作的安全与可靠。作为机载感知系统中的关键前端组件，姿态估算为下游的导航控制系统提供所需的定向信息。由于通信延迟以及目标动态难以预测，地面控制往往不可行，因此自主机载感知对于实现近距离操作中的闭环引导与控制至关重要。为了实现这样的感知能力，人们研究了多种传感模式。单目相机[4]、[5]以及立体相机[6]因其能够捕捉高分辨率的外观和纹理信息而被广泛使用。激光雷达（光探测和测距）传感器[7]、[8]则通过直接以点云形式捕捉目标的三维结构，提供互补的几何测量数据，且对光照变化的敏感度较低。最近，事件相机[9]、[10]作为一种新兴的传感模式，凭借微秒级的时间分辨率记录异步亮度变化，能够提供具有高动态范围的运动敏感信息。这些从基于帧的强度图像到稀疏点云以及事件流的多样化传感器，为目标卫星提供了不同但互补的观测数据。随着深度学习的发展，人们提出了许多利用这些传感器数据来估计卫星姿态的方法。例如，一些研究利用单目图像，通过卷积神经网络或基于变换器的架构来估计卫星姿态[11]、[12]、[13]、[14]。其他研究则利用激光雷达测量数据，在着陆引导[15]、交会操作[16]、[17]以及碎片清除[18]等任务中实现相对姿态的估算。通过直接从传感器观测数据中学习高级表示，基于深度学习的方法在复杂的光度学和几何变化条件下仍能展现出强大的性能。然而，尽管有了这些进展，大多数现有方法仍然依赖于单一传感模式。在实际应用中，单模态感知受到传感器物理特性的固有限制[19]。基于图像的方法可能会受到光照变化、反射或无纹理表面的显著影响。激光雷达在观测镜面金属结构时，其测量数据可能会变得稀疏或不完整，而事件相机则依赖于足够的亮度变化，在运动幅度较小时可能会产生稀疏信号。这些限制促使人们采用多模态感知，通过整合多个传感器的互补信息来提高姿态估算的可靠性。多模态融合策略通常分为数据级融合、特征级融合和决策级融合[20]。其中，特征级融合在深度学习框架中被最广泛采用，它将来自不同模态的特征结合起来，形成用于后续预测的联合表示，如图1所示。虽然这种策略能有效整合互补信息，但它隐含地假设输入的各模态数据都是可靠的[21]。然而，在真实的太空环境中，传感器测量数据可能会受到噪声、缺失数据或部分损坏的影响。在这种情况下，直接合并不可靠的特征可能会使错误在网络中传播，从而降低最终估算的性能。为了提高在这种条件下的鲁棒性，近期的多模态学习方法开始探索具有可靠性意识的融合机制[20]。典型的研究方向包括多模态数据插补与融合，以实现可靠的故障诊断[22]，即通过学习的潜在表示或基于插补的融合机制来重建或补偿缺失或受损的模态数据。另一类研究则着眼于可靠的多模态特征增强融合网络[23]、[24]，这类网络会明确建模模态的可靠性，并在融合过程中根据不确定性估计或基于置信度的加权机制来动态调整各特征的贡献度。这些研究表明，明确考虑模态的可靠性能够在面对损坏或异构的输入数据时显著提升系统的鲁棒性。不过，这些方法通常是针对通用多模态学习场景设计的，可能无法完全解决太空应用中结构化几何感知任务所带来的挑战，因为在这些任务中，不同实例的模态质量可能存在较大差异，同时还需要保留空间结构的信息。这就需要为卫星姿态估算量身定制的多模态融合策略。因此，这项任务中的一个重要挑战是如何在利用互补的多模态信息的同时，减少不可靠模态输入的影响。为了解决这一挑战，我们提出了一种用于卫星姿态估算的混合多模态融合框架，该框架结合了特征级融合与决策级融合。所提出的架构采用多分支设计，包括图像分支、几何或时间分支（点云或事件流）以及跨模态融合分支。每个分支独立预测一个姿态假设，这些假设随后由决策级融合模块进行聚合，该模块能够学会平衡来自不同分支的预测结果。通过将跨模态特征学习与假设级聚合相结合，所提框架能够有效利用来自不同类型传感器的互补信息，同时降低来自单个模态的不可靠预测带来的影响。为评估所提方法的有效性，我们在两个多模态卫星数据集上进行了实验。第一个数据集是自行构建的BUAA-SID-DEPTH（BSD）数据集，它在BUAA-SID系列数据集[25]、[26]的基础上，为每张图像添加了对应的点云观测数据。第二个数据集是公开可用的Event-Monocular Spacecraft（EMS）数据集[27]，该数据集提供了同步的光学图像和事件流。实验在图像-点云融合以及图像-事件融合两种配置下进行。实验结果表明，所提出的混合融合框架提升了姿态估算的精度，并且在模态性能下降的情况下仍能保持更稳定的性能。本研究的主要贡献如下：•我们提出了一种用于卫星姿态估算的混合多模态融合框架，该框架结合了特征级融合与决策级融合，以便更好地利用来自不同类型传感器的互补信息。•我们设计了一种多分支预测架构，其中图像分支、几何/时间分支以及融合分支分别生成独立的姿态假设，这些假设随后由决策级融合模块进行聚合。•我们在BSD和EMS这两个多模态数据集上进行了全面实验，涵盖了图像-点云融合和图像-事件融合两种场景。实验结果表明，所提方法提高了估算精度，并且在模态数据受损的情况下仍能保持更稳定的性能。本文的结构如下：第2节概述了先前的相关研究，第3节介绍了所提出的方法，第4节详细说明了实验配置及结果，第6节对全文进行了总结。片段内容单模态卫星姿态估算目前大多数卫星姿态估算方法都依赖于单一传感模态，即通过单个机载传感器获取的测量数据来推断目标卫星的相对姿态。根据传感模态的不同，现有方法大致可分为基于图像的、基于点云的以及基于事件的三种方法。由于卫星平台上普遍配备有单目相机，且它们能够捕捉丰富的信息，因此基于图像的方法是被研究得最多的初步研究旨在利用单目可见光图像以及辅助传感数据来估算卫星的姿态，该姿态以SO(3)空间中的旋转形式表示。为了对三维旋转进行表示，我们采用了位于超球面S3上的单位四元数。对于在该流形上进行概率建模，宾厄姆分布[58]提供了一种自然的解决方案为了全面评估所提出的多模态姿态估算框架，我们选择了两种具有代表性的实验场景，即图像+点云以及图像+事件流。对于图像+事件的场景，我们使用了公开可用的EMS数据集，该数据集是构建结合图像与事件流用于卫星姿态估算的多模态数据集方面的开创性工作。具体而言，该数据集包含了480个用于训练的模拟序列，每个序列都包含讨论6D姿态扩展当前框架主要侧重于姿态估算，而非完整的6D姿态恢复。与完整的6D姿态估算方法相比，仅进行姿态估算只能提供有限的几何信息，因此在那些需要精确空间定位的下游任务中存在一定的局限性。特别是，仅通过姿态估算无法直接确定目标与观察者之间的相对位置，这限制了其在诸如结论在本文中，我们提出了一种用于卫星姿态估算的混合跨模态融合框架。所提出的方法采用多模态架构，设有专门用于特征提取的分支以及一种动态融合机制，以此有效地整合来自不同模态的互补信息，从而提升姿态估算的性能。此外，我们还引入了一种基于宾厄姆混合表示的决策级聚合模块，该模块能够实现有原则的融合CRediT作者贡献声明文思哲：撰写——初稿、可视化、验证、软件、方法论、研究、形式分析、数据整理、概念构思。乔思佳：撰写——初稿、可视化、验证、软件、方法论、研究、形式分析、概念构思。张浩鹏：撰写——审阅与编辑、监督、资源协调、项目管理、资金筹集、概念构思。姚旭东：撰写——初稿、可视化、验证、利益冲突声明作者声明，他们不存在任何已知的可能影响本文所述工作的财务利益或个人关系。