基于深度强化学习的脊柱四足机器人步态优化控制 宋国正、 艾青林、 李琳、 单晓航、 杨超、 杨建国

《Sensors》：Gait Optimization Control of Spinal Quadruped Robot Based on Deep Reinforcement Learning Guozheng Song, Qinglin Ai, Lin Li, Xiaohang Shan, Chao Yang and Jianguo Yang

　　

摘要

脊柱增强了四足动物在运动过程中的灵活性。受这一生物机制的启发，本研究将一个可驱动的脊柱关节集成到四足机器人中，使其运动和姿势调整更加自然。为了提高脊柱机器人在复杂环境中的运动稳定性，提出了一种深度强化学习框架，该框架将中枢模式发生器（CPG）与双重延迟确定性策略梯度（TD3）算法相结合，以优化脊柱四足机器人的步态。首先，分析了带有脊柱关节的四足机器人的结构和参数，并设计了一个结合脊柱运动参数的CPG耦合模型。随后，提出了基于关节增量策略的TD3-CPG算法框架，通过脊柱运动集成探索适应地形的最佳控制策略。最后，在各种障碍地形上进行了实验，以验证所提出算法的有效性。仿真和实验结果表明，该算法在优化脊柱四足机器人的步态方面非常有效，显著提高了行走稳定性、速度和地形适应性。