通过多模态信念状态表示进行深度强化学习以实现导航：结合激光雷达和深度传感器的信息 徐德刚（Degang Xu）、 王海鸥（Haiou Wang）和 王一志（Yizhi Wang）

《Applied Sciences》：Deep Reinforcement Learning for Navigation via Multi-Modal Belief State Representation from LiDAR and Depth Sensors Degang Xu, Haiou Wang and Yizhi Wang

　　

摘要

本文提出了一种基于深度强化学习的自主导航框架，该框架利用从激光雷达和深度传感器获取的多模态信念状态表示来进行导航。为了解决部分可观测性和传感器特定不确定性带来的挑战，我们提出了一个概率表示模块，该模块将信念状态建模为潜在环境特征的高斯分布。传感器特定的编码器从原始激光雷达和深度数据中提取结构化特征，并通过策略批评器（policy critic）推导出的Q值引导的加权方案对这些特征进行融合。引入了运动预测预训练策略和跨模态一致性损失（cross-modal coherence loss）来提高学习到的信念状态的对齐性和可靠性。将这种表示方法集成到软演员-批评家（Soft Actor–Critic, SAC）框架中，以实现不确定性下的策略驱动决策。在模拟环境中的大量实验表明，所提出的方法提高了成功率、导航效率和泛化能力。实际实验进一步验证了这些结果：与传统导航方法相比，该方法平均行驶时间减少了16%，路径长度减少了4%。这些结果支持在部分可观测性条件下使用概率多模态信念模型进行自主导航。