《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Sports-QA: A Large-Scale Video Question Answering Benchmark for Complex and Professional Sports
编辑推荐：
针对体育视频进行问答推理是一项具有重要应用价值的研究任务，可广泛应用于运动员训练辅助与体育信息检索等领域。然而，由于相关数据集的缺失及任务本身的高度复杂性，该方向尚未得到充分探索。现有视频问答（VideoQA）数据集主要聚焦于日常生活视频的通用粗粒度理解，难以
针对体育视频进行问答推理是一项具有重要应用价值的研究任务，可广泛应用于运动员训练辅助与体育信息检索等领域。然而，由于相关数据集的缺失及任务本身的高度复杂性，该方向尚未得到充分探索。现有视频问答（VideoQA）数据集主要聚焦于日常生活视频的通用粗粒度理解，难以适用于需要专业动作理解与细粒度运动分析的体育场景。为此，研究人员提出了首个专为体育视频问答任务设计的大规模基准数据集Sports-QA。该数据集涵盖描述类、时序类、因果类及反事实条件类等多种问题类型，覆盖多种体育运动项目。此外，针对体育视频问答任务的特性，研究人员提出了一种新型Auto-Focus Transformer（AFT）模型，能够基于问题内容自动聚焦于特定尺度的时序信息进行推理。研究人员在Sports-QA数据集上进行了广泛的实验，包括基线测试与多种方法的性能评估。实验结果表明，所提出的AFT模型取得了当前最优（State-of-the-Art, SOTA）的性能表现。
研究背景方面，近年来体育视频分析受到广泛关注，但在体育视频推理与问答方向仍缺乏系统性研究。现有视频问答（VideoQA）数据集主要针对日常场景的通用理解，无法处理体育场景中复杂的专业动作识别与时序关系建模。同时，单纯的细粒度动作识别数据集也难以评估对动作间因果与时序推理的能力。因此，研究人员亟需构建一个专门针对体育场景的大规模视频问答基准数据集，并设计相应的算法模型以应对这一挑战。该研究由研究人员完成并发表于《INTERNATIONAL JOURNAL OF COMPUTER VISION》。
关键技术方法方面，研究人员基于MultiSports与FineGym两个高质量体育视频数据集构建了Sports-QA数据集，包含约九万四千个问答对，覆盖篮球、足球、排球及体操等多种运动。在数据标注上，针对球类运动定义了队伍、结果、结果成因、动作起因与动作影响五个属性并进行人工标注，基于模板生成四类问题。针对体操类运动则生成描述与时序类问题。在模型设计上，研究人员提出了Auto-Focus Transformer（AFT），引入Auto-Focus Attention（AFA）机制，可根据问题动态选择不同长度的时序焦点，分别捕捉短、中、长程依赖。视觉特征采用ResNet提取外观特征与I3D提取运动特征，语言特征采用BERT编码，并通过图卷积网络进行多模态融合。
研究结果部分，研究人员首先通过基线实验验证了数据集的有效性。随机策略准确率仅约百分之零点五，加入语义约束后有所提升，但盲问答模型即便不使用视觉信息也能取得一定准确率，说明问题与答案间存在语义相关性，但整体偏差控制良好。在主流VideoQA模型的对比实验中，AFT在总体准确率与F1值上均优于现有方法，尤其在篮球场景与描述类问题上提升显著。进一步分析表明，预训练加微调策略可有效提升跨运动项目的泛化能力。不同焦点长度的实验显示，组合短焦与中焦效果最佳，加入全局焦点后进一步提升至百分之五十九点二。在多模态大语言模型（MLLM）评测中，零样本性能普遍较低，经过微调后的Qwen2.5-VL-3B模型准确率达到百分之六十三点七一，但仍存在较大提升空间，凸显了该数据集的挑战性。可视化结果显示，AFT能够根据问题类型自适应调整焦点权重，在短焦问题上关注局部动作，在计数类问题上侧重全局时序信息，有效提升了细粒度区分能力。
讨论与结论部分，研究人员指出Sports-QA填补了体育视频问答领域的空白，首次提供了面向专业动作理解与复杂推理的大规模基准。AFT通过自适应时序聚焦机制有效解决了不同问题对时序尺度需求的差异。未来的工作将探索开放形式的答案生成评估方式，并进一步优化模型的零样本泛化能力。研究人员同时强调了数据集构建过程中的伦理考量，包括遵循原始数据使用协议、平衡运动类别多样性以及明确限定其用于正向体育分析应用。该研究为体育视频理解与多模态推理提供了重要的基准工具与新的技术思路。
