《Image and Vision Computing》：Action-aware anchor-based frame selection strategy for action recognition
编辑推荐：
本文提出一种基于锚点的行动感知帧选择策略，通过改进光流算法抑制背景干扰，结合运动幅度和方向计算帧得分，分两阶段优化计算效率与帧质量，实验验证其有效提升UCF101和HMDB51数据集上的行动识别准确率。
Zhiming Xu|Yuxin Feng|Fan Zhou|Ge Lin|Zhuo Su
中山大学数字生活国家工程研究中心计算机科学与工程学院，中国广州，510006
摘要
合适的帧选择策略不仅可以降低动作识别方法的计算成本，还可以提高其准确性。然而，现有策略所依赖的视觉指标往往无法准确反映动作信息，导致其对下游动作识别任务的适应性不足。为了解决这个问题，我们提出了一种基于动作的锚点帧选择策略，该策略专注于人类动作。具体来说，我们改进了光流算法以消除背景干扰，使其能够专注于人类主体，并设计了一种评分策略，该策略结合了运动幅度和方向，从而更好地感知整个动作过程。为了平衡采样帧集的动作表现力和时间连续性，我们将整个过程分为两个阶段。通过基于动作相关性的定位和简化的采样阶段，我们共同提高了计算效率和选定帧的质量。我们在UCF101和HMDB51数据集上进行了广泛的实验，结果表明，即使输入帧的数量有限，我们的方法也能提高动作识别的准确性。
引言
随着视频数据的快速增长和对视频理解需求的增加，动作识别逐渐成为计算机视觉领域的研究热点[1]、[2]、[3]。尽管近年来在动作识别的各个方向上取得了显著进展，但它仍然面临高计算资源消耗和硬件要求重的挑战。如何在保持高识别准确性的同时降低计算成本已成为一个关键研究问题。考虑到原始视频数据中固有的时间冗余，去除冗余或选择关键帧已被认为是一种有效的方法[4]、[5]、[6]、[7]。因此，设计高效的帧选择策略已成为一项重要的研究。
然而，现有的帧选择策略主要依赖于帧差异或信息熵等视觉指标来评估帧的重要性[8]、[9]。这些指标往往与实际的动作语义偏离，可能导致保留冗余帧或丢失关键帧，从而影响准确性。此外，大多数当前方法在选择过程中忽略了帧序列的时间连续性[10]、[11]，这可能会破坏帧集的时间结构并削弱动作表达的完整性。尽管一些方法试图通过引入复杂的帧间距离约束或调整策略来保持时间一致性[12]、[13]、[14]，但这不可避免地会增加算法复杂性和计算开销。
为了解决上述问题，我们提出了一种基于动作的锚点帧选择策略，该策略可以使用动作特征作为帧选择的基础。具体来说，我们改进了光流算法以抑制背景干扰，使其能够专注于人类主体的动作。我们还利用光流向量的属性，结合运动幅度和方向来计算动作相关性得分，从而充分利用动作信息。此外，相关研究[15]表明，动作识别并不需要捕获整个动作过程，因为局部动作特征通常足以进行准确分类。因此，我们放宽了帧选择约束，选择具有高动作相关性得分的位置，然后以该位置为中心等间隔采样帧。这确保了选定的帧集保留了关键动作信息，同时通过简单的算法保持了时间连续性。我们在两个基准数据集UCF101[16]和HMDB51[17]上进行了系统实验。结果表明，所提出的方法能够更有效地采样帧，并实现更好的动作识别任务准确性，验证了其有效性。
主要贡献如下：
- •
提出了一种基于动作的锚点帧选择策略，使帧选择策略与动作识别任务保持一致，并在计算效率和选定帧的质量之间有效实现平衡。
- •
对光流算法进行了一系列改进，以有效抑制背景干扰，使其能够更准确地关注人类动作，从而使光流数据与动作特征高度相关。
- •
开发了一种新的帧评分策略，该策略利用从光流中得出的运动幅度和方向来评估每个帧的动作相关性。这种设计提高了帧采样过程的鲁棒性和可靠性。
- •
在UCF101[16]和HMDB51[17]数据集上进行的广泛实验表明，我们的帧选择策略显著提高了基线动作识别模型的性能，并与最先进的方法相比取得了有竞争力的结果。
相关工作
相关工作
在本节中，我们从动作识别和帧采样的两个角度简要回顾了与我们帧选择策略相关的最新研究。
方法论
本节介绍了我们提出的基于动作的锚点帧采样方法。如图1所示，整个过程包括两个主要阶段：锚点定位和帧采样，其中锚点定位阶段是策略的核心，包括两个关键组成部分：特征提取和得分计算。下面，我们将详细介绍我们策略中的每个组成部分。
实验
我们在两个广泛使用的数据集上进行了实验以评估我们的方法。实验的详细信息和结果如下所述。
结论
在本文中，我们提出了一种基于动作的锚点帧选择策略用于动作识别。该策略使用帧动作特征作为选择帧的基础，最大化输出帧集的动作识别任务的区分度。此外，我们设计了一种锚点帧选择策略，该策略使用简单算法在确保包含关键动作信息的同时保持时间连续性。所提出的方法在两个公共数据集上进行了评估
CRediT作者贡献声明
Zhiming Xu：撰写——原始草稿、可视化、验证、软件、资源、项目管理、方法论、调查、形式分析、数据整理、概念化。Yuxin Feng：撰写——审阅与编辑。Fan Zhou：撰写——审阅与编辑。Ge Lin：撰写——审阅与编辑。Zhuo Su：撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
