基于Transformer和强化学习的无人机群智能反馈在体育训练中的应用

《IEEE Transactions on Consumer Electronics》：Intelligent Feedback for Sports Training Using UAV Swarms Based on Transformer and Reinforcement Learning

　　

摘要：

为了解决传统固定位置摄像机系统在体育训练中捕捉宽范围和多角度运动数据时的局限性，本研究提出并构建了一个由无人机（UAV）驱动的智能实时反馈系统。利用无人机群动的优势，该系统从多个空中视角捕捉运动员在开放环境中的宏观动作和空间轨迹，从而获得传统方法经常遗漏的全面运动数据。系统首先采用时空变换器（ST-Transformer）对人类骨骼关键点序列进行建模，以实现精确的动作识别和动态评估。然后使用变分自编码器来学习运动员的最佳表现分布，从而构建一个个性化的“理想模型”，用于实时偏差分析和异常检测。最后，采用近端策略优化算法训练一个代理，使其能够根据实时状态生成最佳反馈指令，实现自适应引导。系统性能通过NTU RGB+D 120数据集（https://paperswithcode.com/dataset/ntu-rgb-d-120）和UAV-Human数据集（https://github.com/sutdcv/UAV-Human）进行评估。结果显示，所提出的模型在NTU RGB+D 120数据集上的动作识别准确率达到95.2%，显著优于时空图卷积网络（ST-GCN）基准模型。为了进一步验证该模型在真实无人机视角下的有效性，在UAV-Human数据集上的测试显示动作识别准确率超过90%，再次优于重新实现的ST-GCN基准模型（准确率为82.1%）。此外，系统达到了每秒35帧的处理速度，满足了实时反馈系统的严格延迟要求。这些结果有力地证明了所提出的模型不仅在理想条件下表现良好，而且在实际应用中也非常有效...

显示更多