基于视频的绵羊性格特征预测：一个整合计算机视觉、行为聚类和机器学习的综合框架

《Applied Animal Behaviour Science》：Video-Based Prediction of Sheep Temperament Profiles: An Integrative Framework Combining Computer Vision, Behavioural Clustering, and Machine Learning

本研究通过计算机视觉和机器学习，开发了一种基于羊场测试视频的行为分析系统，成功从运动学特征中预测了三个性格维度（发声反应性、物理逃避、生理应激）的聚类结果，验证了自动化评估在精准畜牧中的应用潜力。

　　

Sarah Cowie | Cihan ?akmak??

奥克兰大学心理学学院，新西兰奥克兰

摘要

可靠的性情评估对于提高牲畜的福利和生产力至关重要。传统方法具有主观性和耗时性，给研究人员和生产者评估牲畜性情带来了障碍。本研究开发了一种基于视频的系统，通过整合计算机视觉和机器学习（ML）技术，根据围场测试行为预测绵羊的性情特征。63只奶羊接受了3分钟的围场测试。首先使用混合数据因子分析（FAMD）和层次聚类方法，根据手动评分的围场测试行为（发声、逃跑尝试、排泄、排尿和主观反应性得分）来生成性情特征。随后，开发了一种计算机视觉和机器学习流程，利用从视频中提取的运动学特征来预测这些手动定义的性情特征。训练了包括随机森林（RF）、极端梯度提升（XGBoost）、人工神经网络（ANN）和多项式逻辑回归（MLR）在内的监督式机器学习模型，仅使用自动化的运动学特征来预测这些性情特征。FAMD揭示了三个核心性情维度：发声反应性（27.3%的方差）、身体逃避能力（24.1%）和生理压力（17.0%）。聚类分析确定了三种不同的性情类型：高发声/反应型（n = 18）、低发声/平静型（n = 38）和高逃避/激动型（n = 7）。运动学特征与手动评分和FAMD维度之间存在显著相关性（例如，主观评分与平均速度：r = 0.60，p < 0.001）。在监督式分类任务中，随机森林模型仅基于运动学数据预测性情类型的准确率最高（77%）。无监督聚类与监督式分类之间的一致性表明，在同一测试背景下，手动生成的性情特征和自动化运动学预测结果具有内在一致性。本研究为绵羊的半自动化性情评估建立了概念验证框架。通过结合计算机视觉和机器学习，它为精准畜牧业提供了一个潜在工具，实现了高通量和客观的福利监测。

引言

了解动物行为的个体差异对于提高牲畜系统的福利、生产力和适应性至关重要。性情是指动物在各种情境下行为和生理反应的一致性表现，是决定动物如何应对处理、管理和环境挑战的关键因素（Neave等人，2022年；Ja?kowski等人，2023年）。在农场动物中，性情不仅影响福利结果，还影响生长速度、繁殖能力和乳产量以及胴体质量（Ja?kowski等人，2023年）。因此，可靠和客观的性情评估对于选择性繁殖和精准畜牧业管理至关重要。然而，在商业条件下获得客观、可扩展和可重复的性情表型仍然是一个重要的测量瓶颈，限制了性情评估在常规繁殖计划和精准畜牧业管理系统中的应用。

传统上，性情是通过开放式场地测试、飞行距离测试和人类接近试验等行为测试来评估的（Forkman等人，2007年）。尽管这些方法具有信息价值，但它们严重依赖人工观察，这既耗时又容易受到观察者偏见的影响，并且在可扩展性方面存在局限。此外，传统的评分系统往往无法捕捉到反映情绪状态的细微运动动态变化。计算机视觉和机器学习（ML）的最新进展为自动化、定量和可重复地评估动物运动和姿势提供了新的可能性（Mathis等人，2018年；Pereira等人，2020年；Sturman等人，2020年；Vayssade和Bonneau，2024年）。这些研究表明在农场环境中进行自动化运动追踪是可行的，而本研究将这一技术扩展到了绵羊性情特征的预测上。

当代性情研究也认识到行为个性的多维性。并非只有单一的“平静-紧张”轴，还存在活动性、探索性、社交性和恐惧性等多种性情维度，这些维度共存并相互作用（Atkinson等人，2022年；Monk等人，2023年），反映了不同的压力反应和应对策略（Koolhaas等人，1999年；Reale等人，2007年）。如混合数据因子分析（FAMD）等多变量方法使研究人员能够将不同类型的行为变量整合到代表这些潜在维度的潜在结构中。结合FAMD和聚类方法，可以在不假设类别数量或性质的情况下，将动物分类为行为上不同的性情类型（?akmak??，2022年；Sabei等人，2023年）。

尽管计算机视觉在牲畜的基本活动和健康检测中得到了越来越多的应用，例如识别活动状态（放牧、休息、进食、行走）或检测跛行和分娩（Dutta等人，2015年；Chen等人，2021年；Li等人，2022年；Qiao等人，2022年；Higaki等人，2024年；An等人，2025年），但此前尚未有研究将围场测试得到的多变量性情特征与仅基于计算机视觉运动学特征训练的监督式机器学习模型结合起来。虽然有少数研究量化了运动模式的个体差异作为性情的代理指标（Occhiuto等人，2022年），但将自动化运动学测量与多变量行为框架相结合的情况仍然很少见。要填补这一空白，需要证明从视频中提取的自动化运动学预测因子可以与手动生成的多变量行为结构相结合，以测试仅依靠计算机视觉特征是否足以预测性情类别。

本研究的主要目标是开发并验证一个系统，该系统利用计算机视觉提取的运动特征和机器学习技术，根据围场测试行为将绵羊分类为不同的性情类型。具体来说，本研究旨在：（1）使用FAMD和层次聚类方法，从手动评分的围场测试变量中识别潜在的性情维度并生成行为上不同的群体；（2）使用基于实例分割和跟踪的计算机视觉流程从围场测试视频中提取运动学特征；（3）训练和评估监督式机器学习模型，仅利用运动学特征来预测这些性情类型，从而测试自动化运动学指标是否可以作为手动生成的性情特征的可靠代理。

部分内容摘录

动物

本研究涉及63只新西兰奶羊（Southern Cross基因型），它们正处于第一个泌乳季节，在标准商业条件下饲养。所选动物能够代表典型的羊群组成，并在实验期间处于良好健康状态。所有实验程序均符合大学动物护理和使用规定（经奥克兰大学动物伦理委员会批准，参考编号25811）。

围场测试协议

每只绵羊都接受了...

计算机视觉系统性能

YOLOv8x-seg模型在所有63次围场测试中都能可靠地检测和跟踪绵羊。该系统成功保持了个体动物的跟踪，没有发生身份切换或检测失败。基于感兴趣区域（ROI）的分析确保了运动计算仅限于有效的围场区域，消除了边界效应并提高了测量精度。

提取的运动参数显示出与性情差异一致的显著个体差异。

讨论

本研究证明，基于计算机视觉的自动化运动跟踪可以可靠地量化绵羊在围场测试中的个体运动行为，机器学习可以利用这些数据得出与人类观察者分类结果一致的性情分类。因此，计算机视觉和机器学习为绵羊性情分类提供了一个有前景的工具。

结合混合数据因子分析（FAMD）和Ward方法的多变量框架...

结论

本研究使用从短时间标准化围场测试中获得的计算机视觉运动学特征，提出了预测绵羊性情类型的概念验证方法。通过将多变量行为分类与自动化运动跟踪和监督式机器学习相结合，我们证明了平均速度和总行驶距离等运动学指标包含了关于潜在性情维度的有用信息。

资助

本研究得到了奥克兰大学食品与食品生产网络种子基金的支持。

CRediT作者贡献声明

Cihan ?akmak??：撰写 – 审稿与编辑、撰写 – 原稿撰写、软件开发、方法论设计、数据管理、概念构建。Sarah Cowie：撰写 – 审稿与编辑、项目管理、方法论设计、资金获取、数据管理、概念构建。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢

作者感谢Alice Wright在数据收集方面的协助，以及Greenridge Sheep Dairy（Kate Walls和Barry Taylor）提供动物和设施的支持，并对这项研究给予鼓励。