在极端天气事件影响下对港口航运公司博弈进行建模：一种基于多智能体强化学习的方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Modeling the Port-Shipping Company Game under Extreme Weather Event Impact: A Multi-Agent Reinforcement Learning-based Approach

　　

孙世超|张凯宇

摘要

极端天气事件（EWEs）会严重扰乱港口运营，导致环境充满不确定性，这对港口和航运公司的有效恢复规划构成了挑战。现有的方法，尤其是基于进化博弈论（EGT）的方法，通常依赖于静态的收益结构和短视的决策方式，这限制了它们捕捉系统动态和长期战略互动的能力。为了解决这些局限性，本研究提出了一个基于多智能体深度确定性策略梯度（MADDPG）算法的多智能体强化学习（MARL）框架。该框架将港口管理部门的恢复投资决策和航运公司的货物转运策略建模为随时间在随机恢复过程中演变的连续状态依赖性行为。与基于状态依赖性的EGT（s-EGT）基准模型进行的对比实验表明，所提出的方法在累积回报和恢复效率方面表现更为优越。具体而言，MARL框架能够学习到具有前瞻性的策略，这些策略明确考虑了当前决策对未来系统状态的影响，即使最优策略需要短期牺牲。相比之下，由于s-EGT模型对状态转换的表示能力有限，它无法捕捉到这些跨时间效应。实验结果显示，所提出的方法加速了系统恢复过程，使港口效率恢复率提高了约30%，并将平均船舶等待时间减少了近80%。此外，跨场景的微调实验表明，学习到的策略能够很好地泛化到新的中断场景中，同时保持稳定的行为模式。这些发现凸显了MARL作为极端天气中断下港口-航运系统自适应恢复管理有效决策支持工具的潜力。