模糊强化学习在随机动态网络中的同步：一种自适应的事件触发策略

《Neural Networks》：Fuzzy Reinforcement Learning Synchronization of Stochastic Dynamic Networks: An Adaptive Event-Triggered Strategy

　　

Jiayi Cai|Jianwen Feng|Jingyi Wang|Chengbo Yi|Guanrong Chen

摘要

本研究探讨了如何通过模糊强化学习（FRL）在具有时间延迟的随机动态网络中实现最优同步控制的问题，该方法基于一种新颖的事件触发策略。传统上，最优控制是通过求解哈密顿-雅可比-贝尔曼（HJB）方程来确定的。然而，这类系统固有的强非线性和不确定性使得求解HJB方程变得异常困难。为了解决这个问题，我们在一个基于简单自适应函数负梯度的识别器-评论家-执行器框架内构建了一个自适应FRL算法。这种方法能够直接得到一个最优同步控制器，无需满足持续激励的条件。随后，设计了模糊逻辑系统（FLS）来近似未知的不确定性。分别设计了用于性能评估和生成控制信号的动态估计识别器以及评论家/执行器FLS。此外，还提出了一种动态事件触发最优控制（DETOC）策略。在该策略中，触发阈值能够实时自适应调整，有效降低了通信开销和计算负担。值得注意的是，最优控制策略是通过FRL直接近似的，无需求解HJB方程。具体来说，价值函数由评论家FLS进行近似以用于性能评估，而控制信号则由执行器FLS根据当前系统状态直接生成。最后，在FRL驱动的DETOC机制中，所开发的控制方法确保所有同步误差信号都保持在一定范围内。其有效性通过仿真示例得到了充分验证和证明。