自适应Takagi–Sugeno–Kang模糊推理与强化学习以承受DFIG-WT的极端低电压

《Engineering Science and Technology, an International Journal》：Adaptive Takagi–Sugeno–Kang Fuzzy inference with reinforcement learning to withstand extreme low voltages of DFIG-WT

　　

双馈感应发电机（DFIG）风力涡轮机（WT）由于高风电渗透率引发的发电机振荡而易受低电压影响。本文提出了一种自适应Takagi–Sugeno–Kang-模糊（TSKF）条件推理（CI）方法，以承受DFIG-WT的严重低电压。推导了DFIG-WT的详细动态模型，以研究其承受不同水平低电压的能力。TSKF推断连接至DFIG的静止同步补偿器（STATCOM）的相角和调制指数。设计了双Q学习（Double Q-learning）以根据DFIG暂态自适应调整TSKF-CI规则库权重。该方法通过结合TSKF推理的可解释性和非线性映射能力与双Q学习在高度动态和不确定运行条件下的自适应学习和降低的过估计偏差，能够克服固定参数控制器和传统模糊系统的局限性。数值研究显示，所开发的方案有效消除了对称三相接地故障事件中的机电暂态，同时快速恢复稳定性。双Q学习准确地将推理方案输出与系统误差强度进行映射。相比传统优化控制（如PID和MPC），所提方案在不同机电暂态水平下均能有效承受严重低电压。实际上，所提方案为在不进行重大硬件修改的情况下提高风电并网系统的电网合规性和运行可靠性提供了可行解决方案。在社会层面，可再生能源系统稳定性的增强有助于提高风能渗透率，支持可持续能源转型和减少碳排放。

基于双馈感应发电机（DFIG）的风力涡轮机（WT）在高风电渗透率下易因发电机振荡而出现低电压问题，严重影响电网稳定性与低电压穿越（LVRT）能力。现有控制策略如比例-积分-微分（PID）和模型预测控制（MPC）在极端电网扰动下性能显著下降，传统模糊逻辑控制器依赖固定规则库，缺乏自适应能力，而强化学习（RL）方法存在黑箱建模、过估计偏差及收敛稳定性不足等缺陷。为克服这些局限，研究人员Tanvir M. Mahim等人提出了一种自适应Takagi–Sugeno–Kang模糊条件推理（TSKF-CI）与双Q学习（Double Q-learning）相结合的控制方案，用于DFIG-WT集成STATCOM-超级电容器储能系统。该研究建立了涵盖发电机、背靠背变换器、DC-DC降压-升压变换器及STATCOM-超级电容器的完整动态数学模型，设计了TSKF-CI规则以发电机转速偏差及其一阶和二阶导数为输入，输出STATCOM的调制指数（m_st）和相角（ψ_st），并通过双Q学习算法在线调整规则权重，利用优先经验回放（prioritized experience replay）提高学习效率。数值仿真在Python-3.9环境中采用ODEINT求解器进行，测试了三种低电压场景（电网母线电压V_b = 0、0.5和0.7 pu，持续250 ms的对称三相接地故障）。研究表明，所提方案能在极端故障下（V_b = 0）有效消除机电暂态，在2.5秒内恢复稳定，而传统PID和MPC控制下发电机转速超过390 rad/s且无法恢复。双Q学习机制通过精确映射时间差分误差与优先级，实现规则的动态自适应。定量比较显示，所提方案稳定时间减少至0.62秒、超调量降至4.1%、电压偏差降至0.03 pu、总谐波失真降至2.1%，奖励收敛仅需107个训练回合，性能显著优于经典PSS、自适应PID及基于Q学习和深度RL的稳定器。该论文发表在《Engineering Science and Technology, an International Journal》。

主要关键技术方法包括：1) 建立DFIG-WT两质量块机电动态模型，包括Park变换下的定转子电压-电流方程及功率平衡关系；2) 设计TSKF条件推理结构，以转速偏差向量（S_t = [e(t), Δe(t), Δ2e(t)]）为输入，通过条件规则（CI）生成聚合控制信号，调节STATCOM的相角和调制指数；3) 采用双Q学习框架，通过两个Q表解耦动作选择与评估，结合优先经验回放（按时间差分误差|td_i=1,2|+ε_p排序）更新TSKF规则权重（权重集合w_a, w_b, w_c），奖励函数定义为\|S_t\|的负值；4) 在Python中使用ODEINT求解器对系统状态方程进行数值积分，仿真条件包括对称三相故障持续250 ms，与PID和MPC方案对比，参数来源于文献[48,49]。

研究结果：
6.1. Proposed adaptive TSKF-CI scheme in DFIG-WT（提出的自适应TSKF-CI方案在DFIG-WT中的应用）
通过设置三种低电压场景（S1: V_b=0, S2: V_b=0.5 pu, S3: V_b=0.7 pu）进行仿真，得出以下结论：在PID和MPC控制下，仅S2和S3能恢复发电机转速，但超调量大且恢复慢；在S1下两种传统方案完全失效，发电机转速超过390 rad/s，定子电流和电压出现高次谐波且畸变严重。而采用所提自适应TSKF-CI方案，发电机状态变量（转速、直流母线电压、定子电流）在故障后迅速稳定，2.5秒内恢复至额定值，验证了方案在极端低电压下的有效性和鲁棒性。
6.2. Dynamics of the double Q-learning based adaptive TSKF-CI scheme（基于双Q学习的自适应TSKF-CI方案动态分析）
通过分析双Q学习的平均Q值、奖励函数及时差分误差（TD error）的演变，得出以下结论：双Q学习机制能根据发电机转速偏差状态S_t[1]准确调整奖励，平均Q值曲线表明策略在约80个时间步后收敛；时间差分误差|td_i=1,2|与优先采样量p_t的映射关系随时间减小，验证了优先经验回放有效加速学习；TSKF-CI聚合输出与系统误差S_t[1]的动态响应一致，证明所提自适应规则权重更新算法能够实时捕捉暂态变化。

总结讨论部分：在讨论中，研究人员指出TSK模糊控制器提供了结构化的非线性控制机制，通过功能性的结论形式（consequent form）精确逼近非线性控制曲面，产生更平滑的控制信号，改善了有功和无功功率振荡的阻尼，并增强了电压调节与储能动态之间的协调。然而，固定或启发式调节的参数限制了适应性，这促使集成强化学习代理。双Q学习代理通过连续调整TSK模糊隶属函数权重，基于系统反馈（误差信号）学习最优策略，奖励收敛和减小的TD误差验证了策略优化效率。优先经验回放通过强调高TD误差转换进一步提升学习效率和策略鲁棒性。整体上，RL增强的TSK模糊控制器显著优于静态控制方案，在宽运行条件下提供自适应、数据驱动的控制表面调节。

翻译研究结论部分：本文提出了一种双Q学习辅助的TSKF-CI控制算法，用于与电网连接的双馈感应发电机风力涡轮机集成的STATCOM-超级电容器储能系统。该策略建立在包含涡轮发电机、DFIG变换器、DC-DC降压-升压接口和STATCOM-超级电容器单元的广义动态框架上。控制器调节STATCOM相角（ψ_st）和调制指数（m_st），实现正常和扰动运行条件下的协调有功和无功支持。获得的结果表明，所提控制方案显著增强了DFIG系统的动态性能。具体而言，在不同的风速剖面和电网扰动下，系统在公共耦合点（PCC）表现出更快的稳定时间、更低的超调量和改进的电压调节。在低电压事件中，控制器有效确保低电压穿越（LVRT）能力并满足电网规范要求。超级电容器的集成通过快速吸收或注入功率改善了阻尼特性，从而减轻直流母线波动并稳定系统响应。此外，双Q学习框架引入的自适应能力实现了TSKF-CI规则库权重的实时调整，使控制器动态适应变化的系统条件。通过奖励收敛和减小的时序差分误差验证的学习性能表明策略优化高效且长期运行稳定。数值分析还确认了所提出的优先机制有效地将误差强度水平映射到采样优先级（p_t），从而加速学习并提高控制精度。与传统的和最先进的基于RL的方法的比较评估（如表1所示）突出了所提方法在瞬态响应、电能质量和学习效率方面的优越性。这些改进使所提控制器成为下一代可再生能源系统智能控制的有力候选者。