《Computer Vision and Image Understanding》：EARS4SEE: A multimodal audio description system dedicated to blind and visually impaired users
编辑推荐：
本文针对传统音频描述(Audio Description, AD)制作依赖人工、成本高且难以扩展的问题，提出了一种名为EARS4SEE的多模态自动AD生成框架。该研究融合语义视频分析、基于追踪的角色识别和自适应时序分割，通过视觉、文本和音频的多流融合策略生成以角色为中心的语义丰富描述，并利用先进文本转语音技术合成自然语音。实验表明，该系统在多个数据集上CIDEr和LLM-AD-eval指标优于现有方法，为长视频的实时、可扩展AD生成提供了有效解决方案，显著提升了多媒体内容对视障用户的访问体验。
在当今数字化时代，视频内容已成为信息传播、娱乐和教育的重要载体。然而，对于全球数以亿计的视觉障碍人士而言，理解视频中的视觉信息却是一大挑战。传统的音频描述解决方案通常由专业人员手动制作，不仅过程耗时、成本高昂，且难以覆盖海量视频内容。随着人工智能技术的飞速发展，利用计算机视觉、自然语言处理和语音合成技术实现自动音频描述生成，已成为辅助技术领域的重要研究方向。近期发表于《Computer Vision and Image Understanding》的一篇论文，介绍了一个名为EARS4SEE的创新框架，旨在为长视频（甚至长达数小时）自动生成高质量、连贯且具有叙事性的音频描述。
为了应对这一挑战，研究团队设计了一套无需任务特定训练、基于预训练多模态模型整合的架构。其关键技术方法包括：1) 利用视觉、音频-文本和语义线索进行多层次时序视频场景分割，以捕获长程依赖和语境对齐；2) 采用基于追踪的角色识别模块，结合自适应时序注意力机制，在存在运动模糊、遮挡和尺度变化时仍能确保角色身份的时间一致性；3) 通过短期与长期记忆队列以及链式思维提示机制，增强视觉语言模型在生成长篇、场景感知音频描述时的上下文推理和叙述连贯性。
研究结果
1. 框架整体设计
EARS4SEE框架包含五个核心模块：时序视频分割、人脸检测追踪与识别、短/长期记忆队列、融入角色信息的视觉语言模型提示以及基于大型语言模型的音频描述生成。该系统直接处理视频流，生成文本描述后通过先进的文本转语音技术合成为自然语音，实现了从视频到可听描述的端到端流程。
2. 多模态时序场景分割
该模块首先进行镜头边界检测，然后通过视觉相似性、音频转录连续性以及基于主题的语义嵌入，对镜头进行层次化聚类，形成连贯的场景。这种方法克服了单纯依赖视觉相似性可能导致的叙事割裂问题，例如在对话场景中，尽管镜头在人物特写间切换，但通过音频和语义线索仍能将其归为同一场景。该设计首次在训练免费的AD框架中显式引入场景级时序分割作为中间推理阶段，以支持语境感知的音频描述生成。
3. 集成角色信息的视觉模型提示
该模块通过RetinaFace和ArcFace进行人脸检测与特征提取，并使用自适应时序注意力机制对同一追踪轨迹内的所有人脸实例进行动态加权，聚合出鲁棒的全局人脸描述符，从而提升角色重识别的准确性。识别出的角色姓名随后被整合到视觉语言模型的提示中，使系统能够在生成描述时准确使用角色姓名进行指代，增强了描述的清晰度和叙事一致性。
4. 实验评估与性能
研究在MAD-Eval-Named和TV-AD数据集上对EARS4SEE进行了评估。结果表明，该框架在CIDEr和LLM-AD-eval指标上平均分别达到24.1和3.02。与现有先进技术相比，EARS4SEE在CIDEr上取得了[1.72%， 10.2%]的准确率提升，LLM-AD-eval分数提高了8%。定性分析也显示，该系统生成的描述在角色一致性、场景连贯性和叙事流畅性方面均有改善。
结论与讨论
本研究提出的EARS4SEE框架，通过创新的时序分割、角色一致性建模和记忆引导提示策略，为生成长篇视频的高质量音频描述提供了一种有效的训练免费方案。其核心贡献在于构建了一个任务特定的框架，将预训练的多模态模型通过新颖的时序、语义和提示策略进行整合，专门针对音频描述任务进行优化。该工作不仅推动了辅助技术的发展，通过提升多媒体内容的可访问性来改善视障用户的生活质量，也展示了预训练大模型在复杂视频理解任务中无需微调即可有效应用的潜力。未来研究方向可包括融入音频身份线索以进一步提升角色识别鲁棒性，以及将框架适配到更广泛的多模态大语言模型中。
