低成本TinyML嵌入式系统用于乒乓球击球动作的实时分类性能

《Electronics》:Performance of Low-Cost TinyML Embedded Systems for Real-Time Classification of Table Tennis Strokes

【字体: 时间:2026年06月19日 来源:Electronics 2.6

编辑推荐:

  传感器技术与人工智能(Artificial Intelligence, AI)的融合正在革新竞技体育训练。本文提出一种新型低成本智能乒乓球拍,内嵌九轴惯性测量单元(Inertial Measurement Unit, IMU),可在设备端直接实现击球动作的实时

  
传感器技术与人工智能(Artificial Intelligence, AI)的融合正在革新竞技体育训练。本文提出一种新型低成本智能乒乓球拍,内嵌九轴惯性测量单元(Inertial Measurement Unit, IMU),可在设备端直接实现击球动作的实时分类。与依赖外部计算的传统系统不同,本研究利用微小机器学习(Tiny Machine Learning, TinyML)将定制卷积神经网络(Convolutional Neural Network, CNN)模型部署于微控制器单元(Microcontroller Unit, MCU,STM32F7),实现边缘端实时推理。系统采集加速度计与陀螺仪数据,通过递归算法自动分段,并将击球动作分类为六种基本击球类型(如正手/反手击球、拉弧圈、削球)或非挥拍状态。分类结果经无线传输至计算机应用程序以提供实时反馈。由实际运动员参与的实验表明,优化后的CNN模型在受控测试中平均分类准确率达98.3%,混合击球场景下超过94%,验证了该系统的高精度与鲁棒性。本工作展示了端到端智能传感器系统的实际实现,凸显了TinyML在低功耗运动分析中的潜力。
论文解读:《Performance of Low-Cost TinyML Embedded Systems for Real-Time Classification of Table Tennis Strokes》
一、研究背景与意义
传统人体活动识别(Human Activity Recognition, HAR)在体育分析中多采用基于视觉的系统或复杂可穿戴传感器阵列,前者对环境敏感且计算成本高,后者常需将数据传输至外部服务器或计算机进行离线分析,导致延迟高、依赖基础设施、无法提供真正实时的现场反馈。惯性测量单元(Inertial Measurement Unit, IMU)虽具便携与非侵入优势,但现有IMU方案仍多依赖非机载计算。微小机器学习(Tiny Machine Learning, TinyML)通过在资源受限的微控制器单元(Microcontroller Unit, MCU)上运行优化后的深度学习模型,使传感器具备本地智能,可实现低延迟、低功耗的边缘推理(Edge Inference)。然而,针对高速球类运动中多类别击球动作的完全嵌入式实时分类系统仍有待填补。为此,研究人员设计并验证了一款集成TinyML的智能乒乓球拍,用于在STM32F7上直接完成六类击球动作的分类,并在《Electronics》期刊发表此项研究。
二、主要关键技术方法
研究人员招募三名右撇子业余乒乓球运动员采集六类标准击球(正手击球Forehand Stroke、反手击球Backhand Stroke、正手拉弧圈Forehand Pull、反手拉弧圈Backhand Pull、正手削球Forehand Chop、反手削球Backhand Chop)及非挥拍状态数据,IMU采样率约42.5 Hz,取6轴(3轴加速度+3轴陀螺仪)数据。主要技术方法包括:(1)数据预处理与自动分段——对六轴原始信号做Min-Max归一化后取绝对值求和,经多项式趋势去除与20 Hz低通滤波(基于快速傅里叶变换Fast Fourier Transform, FFT),采用递归峰值检测算法(Algorithm 1)定位峰值并以峰值中心截取固定长度32点窗口(前16点+后16点);(2)定制一维卷积神经网络(Convolutional Neural Network, CNN)——使用3×3卷积核、32个滤波器、ReLU激活、Softmax输出层,Adam优化器训练7轮;(3)TinyML部署——将Keras模型转为TensorFlow Lite格式(FP32权重未量化),通过STM32Cube.AI生成面向ARM Cortex?M7优化的C库并集成至固件,实现端侧推理;(4)硬件平台——球拍手柄内置ICM?20948九轴IMU(仅启用6轴)、STM32F767 MCU、150 mAh锂电池及2.4 GHz射频(Radio Frequency, RF)无线模块,接收端通过USB虚拟串口与主机通信。
三、研究结果
2. System Architecture and Hardware Design(系统架构与硬件设计)
研究人员设计了由智能球拍节点与计算机端应用组成的双组件架构。智能球拍集成ICM?20948 IMU(关闭磁力计以降低功耗)、STM32F767(ARM Cortex?M7带浮点运算单元Floating?Point Unit, FPU与数字信号处理Digital Signal Processing, DSP指令)及E01?ML01SP RF模块;自定义印制电路板(Printed Circuit Board, PCB)嵌入拍柄,定义传感器坐标轴(Z轴垂直拍面红面朝外,X轴水平向右,Y轴竖直向上)。RF接收端采用Nuvoton M032SG8AE MCU与相同RF模块,通过全速USB模拟虚拟串口(Virtual COM Port)。150 mAh锂聚合物电池配合AP2112稳压片提供3.3 V,连续工作时长约60分钟,2C快充约30分钟充满。整拍重量与传统球拍几乎一致。TinyML模型运行时占用SRAM 26.48 KB、Flash 180.67 KB。
3. Methodologies and Algorithms(方法与算法)
IMU以≈42.5 Hz采集原始6轴数据,经验确定单次击球多可在1秒内完成,故选定32点固定窗。预处理流程为:①各轴取绝对值并经Min?Max归一化至[0,1]后求和得单向波形S=|AX|+|AY|+|AZ|+|GX|+|GY|+|GZ|;②多项式去趋势消除低频漂移,再经20 Hz FFT低通滤波抑高频噪声;③再次Min?Max归一化,用递归阈值搜索算法(初始阈值1.0,步长0.01,迭代降低直至检测到预期段数W)定位每段最大值作为峰值中心(时间复杂度O(N));④以峰值为中心截取±16点构成32×6输入样本。CNN含卷积层(32个3×3滤波器,ReLU)、池化层及全连接层,共41799参数,以稀疏分类交叉熵(Sparse Categorical Crossentropy)为损失函数训练。部署时TFLite模型未量化(164.03 KB FP32),STM32Cube.AI生成Cortex?M7优化代码并烧录。
4. Experimental Results and Discussion(实验结果及讨论)
4.1. Embedded System Performance(嵌入式系统性能)
STM32Cube.AI分析显示模型权重大小164.03 KB,推理耗时4.2 ms,端到端处理(采集+预处理+推理)延时12.5 ms;连续推理平均功耗42 mA@3.3 V(≈138.6 mW)。递归分段算法均耗1.8 ms(峰值栈0.8 KB),归一化0.5 ms(缓冲0.3 KB),FFT低通滤波8.2 ms/512样点(工作内存4.5 KB),总预处理开销满足实时约束。
4.2. Experimental Setup and Data Collection(实验设置与数据采集)
三名初始受试者各完成六类击球每类三次(每次十连击,间隔10秒防疲劳),另采集静态放置及横向移动非挥拍数据作第七类。数据集80%训练、20%验证,五折交叉验证。为评估泛化性,额外八名未见受试者(P1–P8)参与机载测试。
4.3. Performance of Segmentation and Model Training(分段与模型训练表现)
所提自动分段算法可有效从连续数据流中隔离十连击各击球段,32点窗口适配各类标准击球;同时可标注非挥拍段供模型学习区分。CNN经7轮训练后训练与验证准确率趋近高位且损失曲线吻合,Dropout抑制过拟合,独立测试中各击球类平均F1值达0.98。
4.4. Real-Time Classification and On-Device Verification(实时分类与机载验证)
滑动窗推理机制模拟实时流:持续更新32点窗,检出击球后清空窗以防重复计数。
4.4.1. Controlled Swing Sequence Tests(受控连击测试)
八名新受试者连续同类型击球测试平均分类准确率98.2%,主要误差为假阴性(漏检)而非类别混淆;标准差1.2%,Backhand Chop达100%,Forehand Pull最低(96.3%)。
4.4.2. Mixed-Stroke Scenario Tests(混合击球场景测试)
模拟真实回合中交替击球,平均准确率94.8%(两组混合序列分别94.3%与97.4%),主要混淆为将实际击球误判为非挥拍(尤见于快速转换中的Forehand Pull),系过渡期波形不完整所致。
4.5. Comparative Analysis and Discussion(对比分析与讨论)
相比已有高精度但依赖非机载计算的IMU击球分类系统,本研究在保持高精度同时实现全嵌入式集成与TinyML实时端侧推理,推进了实用化运动分析系统发展。偶尔极速击球转换致固定32点窗截断为当前局限。
四、结论(Conclusion)翻译总结
本研究成功研制了基于TinyML的智能乒乓球拍端到端集成系统,将九轴IMU与STM32F7 AI?MCU嵌入常规拍柄且重量手感无显著差异。核心成果为展示完整TinyML工作流(自动数据分段、轻量定制CNN及片上部署),解除对外部算力依赖,实现边缘实时低延迟击球分类。实际运动员实验证实优化模型在受控连击中平均分类准确率98.2%、混合击球场景中94.8%,系统可作为通过即时数据驱动反馈辅助乒乓球技术学习与精练的实用工具。当前局限包括固定32点窗可能截断慢速或复杂击球,且模型仅基于右撇业余选手训练;未来拟研究低开销自适应窗口及评估职业选手、左撇握拍变式与疲劳影响。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号