《Pattern Recognition》：GroundCap: A visually grounded image captioning dataset with object and action identification
编辑推荐：
为解决现有图像描述系统难以将描述性文本锚定到具体视觉元素、无法跨多轮描述追踪物体身份、且不能同时将动作与物体关联的问题，研究人员开展了名为“视觉锚定图像描述”的研究。他们构建了包含5.2万张电影图片的GroundCap数据集，提出一种基于ID的锚定框架以实现物体身份一致性追踪和动作-物体关联，并设计了gMETEOR综合评价指标。该研究为验证视觉描述提供了基准，增强了AI视觉-语言理解的可靠性，其模型与数据已开源。
当你和朋友讨论一张照片时，可能会指着某处说“看那辆车”或“那个人在跑步”。这种将语言与具体视觉元素（物体、动作、位置）明确关联的能力，称为“视觉锚定（visual grounding）”。然而，尽管当前人工智能在图像描述（image captioning）任务上已取得了显著进展，但主流模型在生成描述时，往往无法明确地将文本片段“钉”在图片的特定区域上，导致在复杂场景（如多人、多物）中产生模糊、难以验证的描述。此外，现有模型通常难以在描述中持续追踪同一物体（例如，用“他”指代前面提到的“人物-1”），也无法将描述的动作（如“跑步”）精确关联到执行该动作的特定物体。这些不足限制了AI视觉描述系统在实际应用中的可靠性与可解释性。
针对这些问题，一项发表于《Pattern Recognition》期刊的新研究提出了“GroundCap”这一创新的解决方案。该研究的核心在于构建一个大规模的、具有精细视觉锚定标注的图像描述数据集，并建立一个能够实现物体身份一致性追踪、动作-物体关联的框架，以推动可验证、精准的视觉-语言理解发展。
为了开展这项研究，研究人员主要采用了几个关键技术与流程。首先，数据构建：从MovieNet数据集的77部电影中，通过系统性的场景与镜头筛选，提取了52,016张图片作为视觉内容来源。其次，物体检测与处理：使用基于Swin-Large骨干网络、在MS COCO Panoptic数据集上预训练的Mask2Former模型进行全景分割，以同时检测“物体（thing）”和“背景物（stuff）”类别。对于“背景物”，研究创新性地采用了迭代K均值聚类算法来生成多个边界框，以更精细地刻画背景元素。所有检测结果经过置信度过滤和空间排序后，为每个物体分配唯一的图像内ID。再者，描述生成：设计了一个多阶段描述生成流程，利用大型视觉-语言模型Pixtral-12B，先生成整体场景描述，再为每个检测到的物体生成局部描述，最后综合这些信息，合成带有专用锚定标签（
研究结果通过多个方面展示了GroundCap数据集的特性与所提方法的有效性。
1. 数据集特性分析：GroundCap数据集包含52,016张图片，共有52,350条描述。对数据集中所有锚定标签的分析显示，物体标签（
2. 基线模型性能：在测试集上评估的两个微调模型（Pixtral和Qwen）显示出不同的模式。Pixtral模型表现出高召回率（0.95-0.96）和中等的精确率（0.58-0.61），其F1分数约为0.70，意味着它倾向于引用大部分被检测到的物体，但也包含了一些不正确的关联。Qwen模型则表现出高精确率但低召回率的模式。在语言质量指标上，Pixtral也普遍优于Qwen。这表明Pixtral是更强大的基线模型，其高召回率特性并非源于描述生成策略的优势，因为它与Qwen使用的是相同的物体检测结果。
3. 人类评估结果：人类评估从对象锚定精确度、锚定召回率、描述准确性、语言质量和整体质量五个维度对三种描述（自动生成、人工精修、Pixtral生成）进行评分。结果显示，人工精修描述获得了最高的整体质量评分（4.34/5），显著优于自动生成描述（4.07/5）。Pixtral生成的描述在锚定精确度（4.22/5）上与人工精修描述相当，证明了模型能够从小规模人工精修数据中学习到准确的锚定模式。所有描述的语言质量评分都很高（>4.8/5），表明模型具有良好的语言生成能力。
4. 评估指标相关性分析：研究发现，传统的自动评估指标（包括F1分数、BLEU-4、METEOR、ROUGE-L以及本研究提出的gMETEOR）与人类评分之间的相关性均非常弱（|r| < 0.2）。这凸显了当前自动指标在衡量锚定描述质量方面的局限性，无法有效捕捉人类所重视的方面。
5. ChatGPT-4o自动化评估探索：鉴于传统指标失效，研究探索了使用大型语言模型ChatGPT-4o进行自动化评估。令人鼓舞的是，ChatGPT-4o给出的评分与人类评分呈现出强相关性，尤其是在对象识别（皮尔逊相关系数0.81）和描述准确性（0.79）等客观标准上。这表明像ChatGPT-4o这样的先进模型有潜力为视觉锚定描述提供一种可靠且可扩展的自动化评估工具。
研究的结论与讨论部分强调，GroundCap作为一个新颖的数据集和任务框架，为解决视觉锚定图像描述中的关键挑战提供了有价值的资源。其核心贡献在于提出了一个统一的、基于ID的锚定系统，该系统能够跨描述追踪物体身份、将动作显式关联到物体、并精细分割背景元素。所提出的gMETEOR指标虽然与人类评估相关性不强，但作为一个单一数值总结，在数据集构建过程中用于自动化筛选低质量描述是有效的。
更重要的是，研究通过系统性的基线实验和深入的人类评估，证实了所提方法的可行性。尽管模型在自动指标上仍有提升空间，但人类评估肯定了其在生成可验证、物体指代连贯的描述方面的能力。尤其值得注意的是，对ChatGPT-4o评估能力的探索，为未来如何有效、低成本地评估此类复杂任务开辟了新的可能方向，这或许是比设计新数学公式更具前景的路径。
研究的局限性主要在于数据源（电影画面）可能带来的领域偏差，以及自动生成描述占主导可能对基于相似度的评估指标造成影响。未来工作可以探索将数据扩展至更广泛的真实世界图像（如MS COCO），开发端到端的模型以避免对独立物体检测器的依赖，以及最重要的，将这种基于ID的锚定框架推广到视频描述中，实现跨时间维度的物体与动作一致性追踪，从而迈向更具动态性和连贯性的视觉-语言理解。
