在以可再生能源为主的配电网络中，采用集中训练和分散执行机制的、受退化约束的多智能体强化学习方法，用于实现车辆与电网之间的优化协同

《Scientific Reports》：Degradation-constrained multi-agent reinforcement learning with centralized training and decentralized execution for vehicle-to-grid optimization in renewable-dominated distribution networks

　　

摘要

高比例的可再生能源接入以及大规模电动汽车的集成给配电系统带来了电压不稳定、频率偏差和网络拥堵等问题，同时加速了电池的衰减。本研究提出了一种基于集中训练和分散执行的多智能体强化学习框架，以实现车辆与电网的协同优化。该框架将直流功率流约束、随机可再生能源的不确定性以及电化学电池的老化动态整合到一个统一的控制架构中，以确保调度过程能够考虑网络状况和电池的生命周期。该框架在IEEE 33节点配电网络上进行了测试，其中电动汽车的渗透率达到了50%，并与两种基准方法进行了对比：一种是基于规则的常规V2G调度器，另一种是单智能体深度强化学习控制器，这两种方法均未考虑网络协同约束或电池衰减惩罚。电网稳定性通过一个由频率和电压幅值偏差组成的标准化综合指数来衡量。在多次仿真试验中，与基于规则的方法相比，所提出的方法平均稳定性指数提高了约10%；与单智能体基准方法相比，提高了7%。在高比例可再生能源接入的场景下，可再生能源的利用率提高了约18%，峰值负荷减少了40%，24小时内的电池累计老化程度减少了近13%，证明了该框架在标准化仿真环境中的协同控制性能得到了提升。