基于强化学习的顺序路线推荐方法，用于实现系统最优的交通分配

《IEEE Open Journal of Intelligent Transportation Systems》：Reinforcement Learning-based Sequential Route Recommendation for System-Optimal Traffic Assignment

　　

摘要：

现代导航系统和共享出行平台越来越依赖于个性化的路线推荐，以提升个人出行体验和运营效率。然而，一个关键问题仍然存在：由中央平台发布的连续路线推荐是否能够共同推动系统达到理论上的最优状态（SO）？本文通过提出一个基于学习的框架来解决这个问题，该框架将静态的SO交通分配问题重新表述为单智能体的深度强化学习（RL）任务。当起点-终点（OD）需求出现时，中央智能体会依次为旅行者推荐路线，以最小化整个系统的旅行时间。为了提高学习效率和解决方案的质量，我们开发了一种基于MSA的深度Q学习算法，将传统交通分配方法的迭代结构整合到了RL训练过程中。所提出的方法在Braess网络和Ortúzar–Willumsen（OW）网络上进行了评估。结果表明，在Braess网络中，RL智能体能够收敛到理论上的SO解；而在OW网络中，其偏差仅为0.35%。进一步的实验表明，路线动作集的设计对收敛速度和最终性能有显著影响，包含SO信息的路线集能够加快学习速度并获得更好的结果。本研究建立了一个理论基础框架，证明了将中央连续推荐与SO交通分配相协调的可行性，从而将强化学习方法与经典交通优化理论联系起来。