一种基于对比度增强与分块的多尺度网络，用于精确计数重复动作

《Engineering Applications of Artificial Intelligence》：A contrastive-enhanced and partitioned multi-scale network for robust repetitive action counting

　　朱军|胡天文|李启明 中国科学院福建物质结构研究所，中国福州350108

摘要
从人体姿态数据中统计重复动作是一项基础但具有挑战性的任务，常常受到视角变化和遮挡的影响。为克服这些难题，我们提出了对比增强分块多尺度网络（CEPMS-Net），这是一种端到端的姿态级框架，能够提升特征表示的稳定性与准确性，从而实现更可靠的计数。该架构包含四个关键组件，其中两个创新模块旨在增强特征的鲁棒性。具体而言，姿态对比增强模块（PCE-Module）通过多种几何变换和遮挡处理方法系统地扩充训练数据。结合对比学习，该方法能够使增强后的数据特征保持一致，提升模型对视角变化和遮挡的适应性。此外，分块多尺度卷积模块（PMSC-Module）利用人体拓扑结构分层建模局部与全局动作特征，有助于提取精细的肢体动态信息及整体身体协调性，实现全面的动作表征。双向交叉注意力模块（BCA-Module）则负责高效的多尺度特征融合，而投影头与动作计数模块（PHAC-Module）则完成最终的动作计数工作。实验结果表明，CEPMS-Net在重复计数、中佛罗里达大学重复动作数据集以及Countix-Fitness数据集的姿态标注版本上均取得了优异性能，其平均绝对误差仅为0.225，误差率为0.599，充分证明了其在处理复杂现实场景中的强大能力。

引言
重复动作在日常生活中十分常见，比如体育跳跃、机器的重复运动以及鸟类的翅膀拍动。这类周期性行为蕴含丰富的时序结构信息，重复动作计数（RAC）的核心任务就是从视频数据中提取这些模式并准确统计重复次数。这一任务不仅能揭示动作的内在时序规律，还对诸多计算机视觉应用具有重要意义，包括事件检测（Li等人，2019；Guo等人，2024；Kang等人，2021；Zhang等人，2023）、行人检测（Lima等人，2021；Le等人，2023；Guang等人，2024）以及3D重建（Wandt等人，2016；Vo等人，2022；Dai等人，2022；G?rtner等人，2022）。随着视频数据的迅猛增长，开发高效且鲁棒的RAC方法已成为理解动态场景、推动视觉智能发展的关键课题。

目前，RAC研究主要分为两种范式：视频级方法和姿态级方法。早期的视频级方法（Tsai等人，1994；Cutler和Davis，2000；Thangali和Sclaroff，2005；Levy和Wolf，2015）采用固定周期建模来估计重复次数，因此难以应对现实中常见的非规则周期现象。后来，时间自相似矩阵（TSM）（Dwibedi等人，2020）和多尺度时间相关性编码技术（Hu等人，2022）被引入，以提高模型对不同类型周期性动作的适应能力。尽管有这些进展，视频级方法仍高度依赖视觉线索，因此在面对光照变化、背景干扰和遮挡等复杂场景时表现不佳。为解决这些问题，近年来姿态级方法逐渐受到更多关注。PoseRAC（Yao等人，2023）利用BlazePose（Bazarevsky等人，2020）提取骨骼关键点，并用简洁的骨骼表示替代冗余的RGB图像信息。类似地，GMFL-Net（Li等人，2024）则整合了关节坐标、角度和距离等多种几何特征。然而，现有姿态级方法存在一个根本缺陷：它们通常将骨骼数据视为原始坐标序列，未能明确学习出对视角变化和遮挡具有不变性的特征表示。因此，常规的姿态网络缺乏处理相机移动或部分数据丢失所需的几何鲁棒性，在无约束环境中性能会显著下降。如图1所示，相机位置的变动可能导致关键点偏移、数据缺失或误差累积，这些问题会削弱模型捕捉周期性动作模式的能力，进而影响重复计数的准确性。

为突破这些瓶颈，我们提出了创新框架CEPMS-Net，该框架通过姿态对比增强与分块多尺度卷积相结合的方式，大幅提升模型的鲁棒性与泛化能力。与以往方法不同，PCE-Module专注于通过多种几何变换和遮挡处理手段系统地扩充训练数据，如图2(a)所示，这些手段包括视角旋转、随机遮掩和翻转变换。这类策略能够增加训练样本的多样性，提升模型对视角变化和遮挡的适应能力。例如，视角旋转可通过3D旋转矩阵生成多视角骨骼数据，帮助模型学习不同视角下的特征一致性；而随机遮掩则能在关键点缺失的情况下依然让模型捕获动作特征，从而提高故障容忍度。通过对比学习，PCE-Module能够使原始数据与增强后数据之间的特征分布保持一致，为后续建模提供稳定且可靠的特征基础。在此基础上，PMSC-Module如图2(b)所示，依据人体拓扑结构分层建模局部与全局动作特征。它将关键点划分为头部、手臂、腿部及全身等区域，分别提取局部特征以了解细微的动作细节，同时建模全局特征以捕捉各区域间的动态关联与协调性。这种分层结构能够确保动作表征的全面性与稳定性。从功能上看，PCE-Module提供了丰富且对齐良好的姿态特征，为高效的多尺度建模奠定基础；而PMSC-Module则通过同时捕捉局部运动与整体身体动态，进一步整合这些优化后的特征。二者共同构成了一套强大的处理流程，有效应对视角变化和遮挡带来的挑战。此外，我们还引入了双向交叉注意力模块（BCA-Module），用于动态融合局部与全局特征，从而提升语义表达能力并强化整体建模性能。最后，通过投影头与动作计数模块（PHAC-Module）进行最终预测。该框架采用二元交叉熵损失与三元组边界损失相结合的方式进行优化，既提升了计数精度，又增强了模型的泛化能力。

本文的主要贡献如下：
• 我们提出了一种基于对比学习的姿态对比增强策略，用于姿态级重复动作计数。与那些将骨骼数据视为刚性坐标序列的现有方法不同，我们的方法能够构建出几何上不变的特征空间，从根本上解决了视角变化和遮挡敏感性问题。
• 我们设计了基于人体拓扑结构的分块多尺度卷积模块，该模块能够同时整合局部细节与全局动作特征。结合姿态对比增强策略，该模型在复杂场景中的性能得到了显著提升。
• 我们提出了端到端的姿态级重复动作计数网络CEPMS-Net，它在多个公开数据集上均取得了领先性能，包括RepCount-pose、UCFRep-pose和Countix-Fitness-pose，充分证明了其在处理复杂现实场景中的有效性与适应性。

本文的其余结构如下：第2节回顾相关研究，第3节阐述模型架构与模块设计，第4节介绍实验设置与性能评估方法，第5节分析所提方法的局限性及失败案例，第6节总结全文并指出未来研究方向。

章节片段
视频级重复动作计数
视频级方法主要依赖于对整个视频序列的时间建模与特征学习。这类方法（Li和Xu，2024a；Qiu等人，2024；Chen和Yu，2024；Sinha等人，2024；Zhao等人，2024；K. Li等人，2025）通过卷积、回归或自相似性分析等方法捕捉周期性信息。它们注重上下文整合，适用于动作周期规律明显的场景。早期的方法如Levy和Wolf（2015）……

所提出的方法
如图3所示，本文提出了一种全新的端到端模型，用于应对视角变化和遮挡带来的挑战。该模型由四个核心模块组成，共同提升复杂场景下重复动作计数的准确性与鲁棒性。
• 在3.1节中，我们介绍了PCE-Module。该模块通过视角旋转、随机遮掩和翻转变换生成多样化的姿态样本。借助对比学习，该模块能够使特征保持一致……

实验部分
我们在4.1节概述了数据集、实现细节及评估指标。4.2节展示了与现有最优方法的定量与定性对比结果。4.3节对CEPMS-Net的不同配置进行了消融实验。4.4节通过可视化方式呈现了计数过程，以验证所提方法的优越性与有效性。

讨论
尽管CEPMS-Net在重复动作计数方面表现出色，尤其在应对视角变化和遮挡问题方面优势明显，但本研究仍受限于实验条件与模型复杂度。一个主要问题是计算成本较高：对比学习的应用需要大量的数据增强与特征对齐操作，从而导致训练成本上升。

结论
在本文中，我们提出了CEPMS-Net，这是一种端到端的姿态级框架，旨在解决因视角变化和遮挡导致的重复动作计数误差问题。通过引入分块多尺度卷积模块（PMSC-Module），我们充分利用了人体拓扑结构，成功提取了精细的肢体动态信息与整体协调特征。同时，姿态对比增强模块（PCE-Module）也与该框架相集成，进一步提升了模型的性能……

CRediT作者贡献声明
朱军：监督、研究、资金获取、正式分析、数据整理、概念设计。胡天文：写作——审阅与编辑、写作——初稿撰写、可视化、验证、方法论、研究、正式分析、数据整理。李启明：写作——审阅与编辑、验证、研究、正式分析、数据整理。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究部分得到了泉州市科技计划项目（项目编号2024QZC001R）以及福建省科技计划项目（项目编号2024T3055和2024T3040）的支持。