《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Looking Beyond the Obvious: A Survey on Abstract Concept Recognition for Video Understanding
编辑推荐：
视频内容的自动化理解正在快速发展。依托更深层的神经网络与大尺度数据集，机器已逐步具备解析视频帧中具体可见实体的能力，涵盖物体(Object)、动作(Action)、事件(Event)及场景(Scene)。相比之下，人类独有的能力在于能够超越具体实体，识别正义(
视频内容的自动化理解正在快速发展。依托更深层的神经网络与大尺度数据集，机器已逐步具备解析视频帧中具体可见实体的能力，涵盖物体(Object)、动作(Action)、事件(Event)及场景(Scene)。相比之下，人类独有的能力在于能够超越具体实体，识别正义(Justice)、自由(Freedom)与团结(Togetherness)等抽象概念。抽象概念识别构成了视频理解领域一个关键且尚未解决的开放挑战，其核心在于基于上下文信息进行多层次语义推理。研究人员认为，基础模型(Foundation Models)的最新进展为解决视频中的抽象概念理解提供了理想环境。实现对高层次抽象概念的自动化理解至关重要，这能使模型与人类推理及价值观更为契合。本综述系统研究了用于理解视频内容中抽象概念的不同任务与数据集。研究人员观察到，长期以来研究者们周期性地尝试解决这些任务，并充分利用了其所处时代的可用工具。研究人员主张，借鉴数十年的社区经验将有助于阐明这一重要的开放重大挑战，并在多模态基础模型时代重新探索该问题时避免“重复造轮子”。
研究背景与意义
当前视频理解技术在识别具体实体方面已取得显著进展，但在理解超越表象的抽象概念层面仍存在巨大鸿沟。抽象概念（如情感、意图、隐喻）的理解依赖于对上下文的多层次语义推理，这与仅依赖视觉特征的具体实体识别有本质区别。随着基础模型（Foundation Models）在多模态领域展现出强大的上下文建模与知识迁移能力，为解决这一长期存在的难题提供了新的契机。该研究发表于《International Journal of Computer Vision》，旨在系统性梳理视频抽象概念识别的发展历程、现状与挑战，避免在新一轮技术浪潮中重复过往的研究误区。
关键技术方法
研究人员采用了半自动化的文献调研流程。首先基于CORE评级筛选了计算机视觉领域的顶级会议论文，利用Semantic Scholar数据库索引截至2024年9月的文献，筛选出标题或摘要含“video”的约1.6万篇论文。随后使用量化LLAMA 3.1模型生成任务摘要，排除模型架构与数据集细节干扰，采用BERTopic框架结合mGTE句子嵌入模型进行主题聚类。经人工剔除物体检测、三维生成等传统视觉任务后，剩余约1800篇论文进入人工精筛阶段，重点考察数据集是否涉及抽象概念或需要深层视频理解，并追溯其引用文献以确保检索的全面性。
研究结果
1. 感知理解（Perception Understanding）
感知理解聚焦于人类对视频内容的认知处理，包含四个递进层次。
- •
视觉美学（Visual Aesthetics）： 研究从早期基于黄金比例、三分法等摄影规则的手工特征（如SIFT、HOG），发展到利用CNN自动学习特征，近期则转向利用基础模型（如Q-Align）进行离散美学等级评估。研究发现美学评估与情感唤起、视频可记忆性密切相关，且存在显著的个体差异与文化偏见。
- •
意图理解（Intent Understanding）： 涵盖了动作意图（如预测意外失败）、会话意图（如欺骗检测）与传播意图（如上传者动机）。研究表明，理解意图不仅需要识别行为，还需结合情境常识与外部知识。例如，FunQA基准测试显示，即便是最先进的Gemini-1.5-Pro在理解幽默、魔术等反直觉内容时表现也接近随机。
- •
语义主题理解（Semantic Theme Understanding）： 侧重于挖掘视频的深层核心信息与隐含信息，尤其在广告视频中表现显著。研究人员指出，广告常利用象征主义与非常规物体传达社会议题，仅靠文本转录的零样本大模型表现远落后于多模态监督模型，凸显了视觉信号在主题推理中的不可替代性。
- •
用户行为建模（User Behaviour Modeling）： 通过分析点赞、评论等元数据作为弱信号来预测视频流行度（Virality）。研究发现，结合视觉内容特征（如美学、情感）与社交信号的模型性能最优。最新的大语言模型（LLM）通过假设生成机制，在Global Popular Video Dataset（GPVD）上的分类准确率已达85.5%。
2. 情感与社会信号（Emotions and Social Signals）
该部分探讨情感分析与社会信号处理。
- •
情感分析（Affective Analysis）： 从早期的基于低层特征的情感曲线预测，发展到利用多模态大模型（如AffectGPT、Emotion-LLaMA）进行细粒度的效价（Valence）与唤醒度（Arousal）回归。研究证实，微手势、身体语言及场景上下文对于准确推断视频诱发情感至关重要。
- •
社会信号处理（Social Signal Processing）： 关注人际关系的识别与社会情境的解读。研究构建了MovieGraphs等知识图谱数据集，发现通过图神经网络（GNN）融合面部表情、姿态、音频语调及对话文本，能有效推断角色间的支配与亲和关系。然而，基础模型在处理复杂群体动态与文化特异性社交规范时仍面临挑战。
3. 叙事与修辞分析（Narrative and Rhetoric Analysis）
该部分针对间接信息传递与说服策略。
- •
视觉叙事理解（Visual Narrative Understanding）： 涉及电影情节理解、高潮检测与剪辑风格分析。研究发现，现有基础模型过度依赖字幕文本，存在严重的数据泄露问题（仅通过片名即可获得高分），且在理解镜头语言（如男性凝视Male Gaze）与长时序逻辑上存在局限。
- •
修辞手法（Figures of Speech）： 重点分析了视觉隐喻（Visual Metaphor）与幽默讽刺。研究显示，视觉隐喻往往通过跨时间的动作序列构建本体与喻体的关联，现有模型在此类任务上表现不佳，常出现对象识别错误导致的推理偏差。
- •
说服（Persuasion）： 解码广告与政治宣传中的非典型物体与修辞策略。研究发现，政治广告中的说服技巧（如情绪镜像、色彩操纵）极其抽象，模型识别准确率接近随机基线。
- •
框架分析（Framing Analysis）： 探究如何通过视觉呈现引导舆论。研究提出了基于框架理论的虚假信息检测模型SNIFFER，利用多模态大模型作为智能体检索外部证据，实现了对图文不一致性的可解释性判断。
讨论与结论
研究人员讨论了感知与推理的相互依赖性、主观性标注的处理、评估指标的局限性以及文化偏见等关键挑战。特别指出了当前基础模型存在的模态鸿沟（Modality Gap）——即过度依赖文本捷径而忽视视觉细节，以及思维链（Chain-of-Thought）在非线性逻辑推理中可能带来的负面效应。
研究结论强调，抽象概念识别并非孤立任务，而是连接低层感知与高层认知的桥梁。未来的发展方向在于构建能够统一处理多层级抽象的通用基础模型，开发适应主观性的评估体系，并通过消除数据泄露与幻觉问题，实现真正的人类水平视频理解。这项工作不仅是对过往研究的系统梳理，更是为多模态智能在社交媒体分析、内容审核及人机交互等领域的应用奠定了理论基础。
