复合事件在蜜蜂活动监测中的相关性 安德烈亚·尼维斯-里维拉（Andrea Nieves-Rivera）、 玛丽·卢贝尔雷斯-孔特雷拉斯（Marie Lluberes-Contreras）和 蕾米·梅格雷（Rémi Mégret）

《Informatics》：The Relevance of Compound Events in Bee Traffic Monitoring Andrea Nieves-Rivera, Marie Lluberes-Contreras and Rémi Mégret

　　摘要：蜜蜂是农业系统中不可或缺的传粉者，因此准确、自动地监测它们的行为对于评估蜂群健康和生态系统稳定性至关重要。计算机视觉和人工智能的最新进展使得在大规模范围内监控蜂巢入口处的蜜蜂活动成为可能；然而，大多数现有的事件分类方法仅关注简单的进出事件。这种简化忽略了复合动作（如U形转弯和守卫行为），而这些行为占据了蜜蜂活动的很大一部分，并可能导致轨迹重建不准确以及行为解释的误导。在这项工作中，我们系统地分析了用于自动蜜蜂交通监控的现有事件分类策略，评估了它们在简单和复合动作上的表现。然后，我们提出了扩展的分类方法，通过结合来自位置和角度线索的双向运动模式来明确建模复合事件。使用一个手动标注的基于计算机视觉的蜂巢入口录像数据集，我们在简单和混合事件条件下比较了基于阈值、基于位移和基于角度的方法。我们的结果表明，复合事件占所有检测到的动作的三分之一以上，而专门为处理双向行为设计的分类方法在准确性和鲁棒性方面显著优于传统方法。特别是，当能够获取完整轨迹时，基于阈值的双向分类几乎可以达到完美的性能，而在部分观测数据下，基于位移的方法提供了可靠的替代方案。这些发现强调了在自动化蜜蜂监控系统中建模复合行为的重要性，并有助于更准确地重建飞行路径、分析行为，并为精准农业和传粉者管理提供人工智能驱动的决策支持。

1. 引言
蜜蜂是农业生态系统中最重要的传粉者之一，在作物生产力和食品安全方面发挥着关键作用[1]。因此，人们对利用自动化、数据驱动的方法来监控蜜蜂活动越来越感兴趣[2,3,4]，以此作为蜂群健康、环境压力因素和生态系统稳定性的指标。近年来，人工智能和计算机视觉技术使得能够连续、无创地监控蜂巢入口处的蜜蜂活动，生成适合计算分析的大规模时空数据集。

自动化蜜蜂交通监控中的一个核心任务是将个体动作分类为有意义的行为事件，最常见的就是进出事件[5]。这些分类的事件是更高层次分析的基础，例如飞行路径重建[6]、觅食活动估计[7]和行为建模[8]。因此，事件分类阶段的不准确性可能会影响到后续分析，导致对蜜蜂行为和活动模式的误解。

现有的事件分类方法主要设计用于检测简单的单向动作。然而，在蜂巢入口处的观察显示，相当一部分蜜蜂活动包括复合动作，如U形转弯[9]或与守卫相关的来回行为[10]。当这些复合事件被强行归入简单的进出类别时，轨迹重建会变得模糊，行为信号也会被扭曲。

尽管基于计算机视觉的跟踪技术有所进步，但目前尚没有标准化或广泛采用的框架来建模蜜蜂交通数据中的复合事件。大多数实现方法要么对这些动作进行错误分类，要么将它们视为噪声。这一差距凸显了一个更广泛的信息学挑战：设计能够在复杂现实世界行为动态下保持鲁棒性的事件分类算法，并能够无缝集成到自动化数据处理流程中。

在本文中，我们系统地评估了用于自动蜜蜂交通监控的现有事件分类方法，并分析了它们在复合动作存在时的局限性。然后，我们提出了基于多种方法的扩展分类方法来明确建模双向行为。通过对手动标注的真实数据进行验证，我们证明了考虑复合事件显著提高了分类准确性，并支持在农业监控系统中更可靠的人工智能驱动的传粉者行为分析。

本文的结构如下。第2节回顾并整理了相关工作。第3节介绍了所提出的扩展方法以及用于评估各种方法的方法论。第4节展示了实验结果以及从方法详细比较中获得的见解。

2. 相关工作
已经提出了各种方法来跟踪单个蜜蜂，从射频识别（RFID）标签到基准和基于颜色的标签。RFID最初因其自动化而取代了手动跟踪，使研究人员能够同时监控大量个体[11]，因为每个RFID标签在RF传感器触发时可以提供唯一的ID，这些传感器通常位于受控通道中。RFID标记已被用于观察健康的蜜蜂与接触杀虫剂的蜜蜂之间的差异[12]，以及分析亚群体之间的觅食行为差异[13]。

随着基于RFID的跟踪技术的普及，2016年引入了一个专门的软件工具Track-a-Forager，以方便从自动检测中提取数据和事件分类[14]。该软件从RFID传感器数据中提取进出信息并重建飞行活动。它已成为使用RFID标签的多项工作的实际标准[15,16,17,18]。

近年来，由于RFID标签的成本问题[19]，结合计算机视觉视频分析的方法作为蜜蜂交通监控的替代方案出现。这包括QR标签、AprilTag风格的基准标记[9,20,21]和BEEtag[22]。计算机视觉用于提取与每次检测相关的位置、角度、姿态等特征[23]。这些类型的自动观察已被用于数据提取[24]。一些最近的方法还对标签进行了着色[25,26,27]。

与RFID相比，计算机视觉方法在执行检测、跟踪和识别方面需要更高的计算资源，但提供了额外的信息，例如蜜蜂在入口处的完整轨迹，以及花粉[9]或螨虫[28]等寄生虫的存在。此外，随着视频捕获和处理技术的改进，这种模式越来越易于使用。因此，尽管本文中提到了一些受RFID启发的方法，但仅讨论与视频分析相关的方法。

在本节中，我们围绕“事件”的概念来组织分析，“事件”被定义为蜜蜂被监测传感器检测到或可见的短时间段，它们构成了可以标注特定行为的分析原子单位。对于RFID，这对应于一组时间接近的原始检测，捕捉蜜蜂经过传感器前的存在；对于视频，则对应于蜜蜂离开视野前的短期轨迹。我们将分析分解为几个步骤：首先是原始传感器检测，收集单个RFID信号或从单个视频帧中获取检测结果（第2.1节）；其次是事件检测，通过将原始检测结果分组来生成短期事件（第2.2节）；最后是事件分类，为每个事件分配一个行为标签（第2.3节）。

2.1. 原始传感器检测
RFID检测依赖于蜜蜂穿过传感器的检测范围。对于事件分类，使用两个传感器根据它们被触发的顺序来预测蜜蜂的轨迹。对于计算机视觉，主要使用了两种方法：简单的标签检测和标签检测结合姿态估计。标签检测包括读取附着在蜜蜂上的标签，该标签可以唯一标识每个个体[29]。更先进的方法可以检测特定身体部位的位置[3,9,23]。

2.2. 事件检测
有两种主要方法可以跟踪随时间变化的多次检测并将它们分配给单个事件：时间聚类和基于计算机视觉的跟踪方法。

2.2.1. 时间聚类
时间聚类方法假设事件是短暂的，通常由时间接近的原始检测结果组成，在这段时间蜜蜂不在视野范围内或远离传感器，这符合蜜蜂进出蜂巢觅食时的特征。这种方法的名称“聚类”及其最早的正式定义实现出现在Track-a-Forager[14]中，此后被BeeCam-AprilTag[29,30]采用。这种方法根据检测结果之间的时间间隔将来自同一个体的连续检测结果分组。使用预定义或用户指定的阈值（以秒为单位）来验证两个检测是否属于同一事件：如果连续检测之间的时间差异不超过阈值，则认为它们属于同一事件；否则，启动一个新的事件。这种方法只需要每个检测的时间戳和个体蜜蜂的标识符。得到的聚类代表连续的运动，可以用来重建轨迹。

2.2.2. 计算机视觉跟踪
另一种事件定义方法依赖于连续视频帧中的计算机视觉跟踪[5,24,31,32,33]。只要能够使用空间和时间连续性可靠地跟踪蜜蜂的位置，事件就持续进行。一旦跟踪丢失，事件就结束。这种方法需要访问视频数据或单个帧。为了保持帧之间的连续性，需要蜜蜂的个体标识符。

2.3. 事件分类方法
我们将事件分类方法分为三类，基于它们依赖的信息类型：基于阈值的、基于位移的和基于角度的。大多数现有方法只考虑两类感兴趣的行为：进入或离开。一些方法包括一个拒绝类别（例如未知、噪声或未确定），少数工作为一些边缘情况定义了更明确的类别，如飞过[5]、行走[9]、侧向[33]。这些实现及其相应的输出在表1中进行了总结，并在下面进行了更详细的讨论。表1. 现有实现的分类。在下文中，我们采用一个约定，即蜂巢入口的方向是向上的运动（y坐标减小）表示进入蜂巢，向下的运动（y坐标增加）表示离开蜂巢（见图1）。假设坡道的两侧是封闭的，如大多数现有工作所假设的，也有一种方法可以处理开放的情况[34]。图1. 不同方法的示意图，灰色箭头表示蜜蜂的轨迹，红色虚线表示进入和离开蜂巢的阈值。（a）单阈值 Tu等人[31]和Magnier等人[5]称之为THRS_SINGLE。（b）双阈值 Rodriguez等人[9]也称之为THRS_DOUBLE。（c）Chen等人[24]和Mukherjee和Kulyukin[33]使用的基于位移的初始和最终位置，也称之为DISP_FULL。（d）BeeCam–AprilTag[29,30]中使用的角度合成向量方向，也称之为ANGLE_SUM。

2.3.1. 基于阈值的分类
基于阈值的方法根据蜜蜂的运动是否穿过一个或多个预定义的阈值来分类事件。如果蜜蜂穿过阈值，则相应地进行分类；否则，事件被标记为未知或不确定。Tu等人[31]使用单个阈值将进入分为飞行进入和飞行离开；Magnier等人[5]使用单个阈值将进入分为内部区域和外部区域，如图1a所示。Lei等人[34]使用类似的方法，将阈值设置在入口处，但不跟踪单个蜜蜂，而是专注于统计所有蜜蜂的进出次数。第二种实现方法称为箱方法，在坡道没有侧墙的情况下使用两个阈值，允许在蜜蜂从侧面而不是顶部或底部进入时进行分类。因此，进入事件被定义为从外部区域开始并在内部区域结束，退出事件则相反。在本文的其余部分，我们将使用将入口坡道分为两部分的单个阈值的方法称为THRS_SINGLE。

Rodriguez等人[9]使用两个阈值将入口分为内部、坡道和外部区域，如图1b所示。他们的方法将开始和结束在坡道区域的轨迹分类为行走，并忽略轨迹同时开始和结束在内部或外部区域的情况，将其标记为噪声。这种实现被称为THRS_DOUBLE，我们在第3.4.1节中将其扩展为THRS_BIDIRECTIONAL，定义了如何进一步将噪声类别细分为不同的复合情况。

2.3.2. 基于位移的分类
基于位移的分类方法根据蜜蜂相对于相机的初始和最终检测之间的位置变化来进行操作[24,32]。两个与事件相关的检测点之间的y坐标差异被用来推断蜜蜂的轨迹。这两种实现方法都依赖于事件中的第一次和最后一次检测来分类位移，它们被统称为DISP_FULL。这种方法至少需要两次位置检测来确定运动方向，如图1c所示，而在只有单个检测点可用的情况下则不适用。我们在第3.4.2节提出了如何计算位移的扩展方法，以考虑复合事件。2.3.3 基于角度的分类基于角度的分类依赖于从检测数据中得出的方向向量。这个向量可以从基准标签的角度获得，如BeeCam-AprilTag [29,30]中的实现方式，或者从位移向量 [33] 获得。在这两种情况下，得到的角度都与用户指定的阈值进行比较，以将每个事件分类为进入或离开。即使只有单个位置坐标可用，标签-角度实现也能从检测中一致地得出方向，同时保持低计算成本。然而，它对蜜蜂的不规则行为很敏感。BeeCam-AprilTag计算事件内所有角度的总和向量方向（以下简称ANGLE_SUM），如图1d所示，通过平滑各个检测角度来获得每条轨迹的总体趋势。相比之下，位移-角度方法至少需要两次位置检测来得出方向 [33]。然而，这种实现方法单独考虑了帧之间的每次位移，这可能会导致同一个轨迹被计算多次。我们在第3.4.3节提出了对BeeCam-AprilTag总和角度方法的扩展，以考虑复合事件的具体轨迹形状。3. 方法本节描述了对事件分类提出的扩展方法，包括两种用于模拟复合运动的方法，以及用于评估其性能的实验设计。所提出的方法与第二节描述的现有方法进行了比较。所有方法都由作者实现，并且都是基于相同的事件表示，即与蜂巢入口处的单个蜜蜂相关的一系列检测。事件由按时间顺序排列的检测列表表示，每个检测都包含位置和/或角度信息。为了使用相同的数据、预处理和评估条件进行受控和一致的比较，这些算法都不是直接从现有软件工具中采用的；相反，它们都在一个统一的框架内实现或重新实现，并根据相同的手动标注的真实值进行评估。我们的目标有两个：(i) 在简单和复合运动条件下评估现有事件分类启发式方法的准确性；(ii) 提出能够明确模拟双向行为的算法扩展，例如在单个事件中的U形转弯。为此，我们实现了基于阈值、基于位移和基于角度的方法，以及结合了开始和结束运动线索的双向变体。这些新类别包括进入-离开和离开-进入，代表了蜜蜂在路径中途转弯的运动，如图2所示。图2. 斜坡上的U形转弯示例（离开-进入）：(a–d) 蜜蜂在帧中的运动。(e) 蜜蜂轨迹叠加在轨迹的最后一帧上。(f) 蜜蜂在y轴上的位置变化随帧的变化。3.1 提出方法的原理通过跨帧映射检测点的y位置可以揭示这些运动类型的发生了，例如图3a所示，它代表一个向外运动后跟着一个向内的运动。在组装飞行记录时，由于它们之间没有离开动作，这些连续的进入通常会被忽略；然而，保留它们可以提供关于蜜蜂行为的额外信息，例如哨兵活动或社会互动。图3b代表了相反的模式：一个向内的运动通常由另一个向外的运动 precedes。当仅记录离开和进入时，只有最后一个离开后跟着一个进入的动作才会被记录下来。因此，像图3b中的事件就被忽略了，尽管它们可以被视为一次飞行的结束。这两种类型的运动被称为复合事件。现有方法主要是为图3c中所示的运动设计的，这些运动代表了明确的离开动作，被称为简单事件。图3. 蜂巢入口处的不同运动：(a) 事件271的图，显示了一个向外的运动后跟着一个向内的运动，中间没有离开动作。(b) 事件815的图，显示了一个向内的运动后跟着一个向外的运动，中间没有进入动作。(c) 事件283中一个明显的离开动作。3.2 事件表示和假设每个事件由N次检测组成，这些检测对应于蜜蜂与蜂巢入口的连续互动。每次检测包括：帧索引、相对于相机的二维位置、从蜜蜂姿态（或标记方向）得出的角度，以及从基准标记获得的标识符。所有方法都假设事件已经通过基于计算机视觉的跟踪和时间聚类定义好了，如第2.2节所述。3.3 评估的方法总共评估了十一种分类方法，它们被分为第2.3节中描述的3个类别。本工作中介绍的七种方法在名称末尾标有（new），并在第3.4.1节中有更详细的解释。阈值方法(a)THRS SINGLE（在[5,31,34]中使用）：y范围被划分为两个区域，使用一个阈值，分别在内部和外部。阈值被放置在整个y范围的中间。(b)THRS_DOUBLE（在[9]中使用）：y范围被划分为三个区域，使用两个由数据提供的阈值。这些阈值被选择为使得一只大小正常的蜜蜂能够同时位于图像的每个边界（入口和出口两侧）和相应的阈值之间。这确保了在蜜蜂穿过阈值之前可以检测到它。(c)THRS_BIDIRECTIONAL（新）：考虑蜜蜂在同一阈值划分的区域内开始和结束的运动，视为复合运动，见第3.4.1节。使用与THRS_DOUBLE相同的阈值。2.位移方法(a)DISP_FULL（在[32]中使用）：基于完整轨迹（事件开始和结束的y位置之间的差异）来计算位移，并根据差异是负数还是正数进行分类。(b)DISP_START（新）：仅基于轨迹的开始部分来计算位移，见第3.4.2节。(c)DISP_END（新）：仅基于轨迹的结束部分来计算位移，见第3.4.2节。(d)DISP_BIDIRECTIONAL（新）：结合DISP_START和DISP_END来处理复合事件，见第3.4.2节。3.4. 基于角度的方法(a)ANGLE_SUM（在[29]中使用）：由BeeCam-AprilTag实现的蜜蜂角度的总和向量方向。这种方法将进入定义为90° ± 60°的角度，将离开定义为270° ± 60°的角度。(b)ANGLE_START（新）：使用轨迹的开始部分来计算总和向量方向，然后与ANGLE_SUM相同的方式使用，见第3.4.3节。(c)ANGLE_END（新）：使用轨迹的结束部分来计算总和向量方向，然后与ANGLE_SUM相同的方式使用，见第3.4.3节。(d)ANGLE_BIDIRECTIONAL（新）：结合ANGLE_START和ANGLE_END来处理复合事件，见第3.4.3节。3.4. 提出的方法这七种提出的方法旨在处理事件级数据，并通过适应类似的启发式方法来扩展现有方法，以便在出现进入-离开或离开-进入类型复合事件的情况下进行正确的分类。3.4.1 基于阈值的THRS_BIDIRECTIONAL：考虑蜜蜂的初始和最终位置相对于两个划分阈值的位置，与THRS_DOUBLE类似，后者将斜坡划分为三个区域：内部、斜坡和外部。当初始和最终区域相同时，它们被分类为复合事件：内部-内部对应于离开-进入事件，外部-外部对应于进入-离开事件。在斜坡区域开始或结束的轨迹被分类为未知，以解释跟踪的提前中断。这在算法1中有所说明。算法1 复合事件分类：THRS_BIDIRECTIONAL输入：蜜蜂的初始和最终区域输出：如果 = ‘入口’ 则返回 ‘离开-进入’否则如果 = ‘出口’ 则返回 ‘进入-离开’否则返回 ‘未知’结束如果否则如果 = ‘出口’ 则返回 ‘离开’否则如果 = ‘入口’ 则返回 ‘进入’否则返回 ‘未知’结束如果3.4.2 基于位移的方法基于位移的方法从蜜蜂在图像垂直轴上的位置变化来推断运动方向，这对应于相对于蜂巢的向内或向外运动，使用100像素作为方向的距离指标；这是根据经验选择的。现有的DISP_FULL启发式方法无法识别U形转弯，因为它只考虑了起点和终点的相对位置。因此，我们定义了特定于起点或终点的位移标准来评估轨迹与该参考点的偏差程度。DISP_START：这种方法根据蜜蜂在单个事件中的y坐标变化将其轨迹分类为进入或离开。具体来说，它比较了第一次检测的y位置和中间检测的y位置。这个中间检测从第二次检测开始，并向前迭代，直到找到超过预定义阈值的位移。因此，至少需要两个不同的y位置。当初始和最终的y位置相同时，分类结果为未知。这在算法2中有描述。DISP_END：一个修改后的变体反向应用相同的程序来确定蜜蜂运动的最终方向。遵循相同的方法但反向迭代，这种方法在算法3中有描述。DISP_BIDIRECTIONAL：该方法结合了之前的DISP_START和DISP_END变体来处理U形转弯，按照第3.4.4节中描述的方法。算法2 事件分类：DISP_START输入：事件E的所有y位置列表，用户定义的距离输出：分类后的事件Cif然后如果对于到N执行如果那么break结束如果对于如果那么返回否则如果那么返回否则返回结束如果3.4.3 基于角度的方法基于角度的方法将入口定义为90° ± angle_threshold的角度，将离开定义为270° ± angle_threshold的角度。在[29]中，选择了angle_threshold = 60°。我们将使用相同的值。为了推广基于角度的方法，我们使用轨迹前半部和后半部的平均角度向量来推断事件类别，而不是使用整个轨迹的平均值。ANGLE_START：使用轨迹前半部的总和角度向量来定义类别。这个角度与预定义的阈值进行比较，以将运动分类为进入、离开或未知。首先将角度规范化到之间的范围，其中对应于最右侧的方向，然后进行分类。这种方法在算法4中有描述。ANGE_END：一个补充的变体，仅使用轨迹后半部的总和向量角度，并在算法5中有描述。ANGLE_BIDIRECTIONAL：该方法结合了之前的ANGLE_START和ANGLE_END变体来处理U形转弯，按照第3.4.4节中描述的方法。算法4 事件分类：ANGLE_START输入：事件中的一半轨迹的总和向量角度，用户定义的阈值输出：分类后的事件Cif然后返回否则如果那么返回结束对于到执行如果那么break结束如果对于如果那么返回否则返回结束如果3.4.4. 将START和END估计组合为BIDIRECTIONAL估计通过结合轨迹的初始和最终部分的类别信息，可以将事件分类为进入-离开或离开-进入。当从轨迹的初始部分（DISP_START, ANGLE_START）和最终部分（DISP_END, ANGLE_END）推断出的类别不同时，它们被组合成新的复合事件类别进入-离开或离开-进入。当它们相同时，事件被标记为简单类别进入或离开。相应的全向算法被称为DISP_BIDIRECTIONAL和ANGLE_BIDIRECTIONAL。3.5 实验评估方法3.5.1 视頻和轨迹数据集为了评估现有的分类方法并将它们与提出的方法进行比较，我们使用了在波多黎各Gurabo的蜂巢入口处拍摄的每小时长的视频数据，分辨率为2560 × 1440像素，每秒20帧。图2显示了此类视频的帧示例。在这个实验设置中，一个透明的亚克力板被放置在斜坡的顶部，以确保所有进出蜂群的都是被迫通过摄像机的二维焦平面上那个受限的入口。所使用的相机是一款400万像素的IP摄像头（GESS Technology公司，型号GESSXDD-IP740QMVR-W3，位于美国波多黎各圣胡安），以8 Mbps的速率录制H.264格式的视频。视频数据使用了YOLO11x姿态检测模型[35]进行处理，该模型被训练用于检测蜜蜂的身体关键点：头部、颈部、胸部、腰部和腹部末端。每只蜜蜂的胸部区域都通过改编自apriltag库[20]的代码检测到了AprilTag二维码。这些视频中使用了25h5系列的5×5大小apriltags。蜜蜂的方向角由腹部末端与头部之间的角度来定义。尽管与[29]中使用的标签角度方法相比，这种方法计算成本更高，但它有几个优点：即使标签未被检测到（蜜蜂侧翻或标签模糊），也能准确判断方向角，而且这个角度能够真实反映蜜蜂的身体朝向。使用标签角度作为代理在某些情况下会导致偏差，因为实际操作中很难将标签完美地对齐在蜜蜂的胸部。

所有蜜蜂的移动都使用了匈牙利算法[9]进行追踪，以捕捉完整的动作轨迹，并且筛选掉那些胸部没有AprilTag的蜜蜂。仅保留带有标签的蜜蜂进行后续分析，这是为了确保用于评估的轨迹数据质量。事实上，由于蜜蜂数量众多且斜坡空间拥挤，标签的存在使得轨迹的视觉检查更加方便。这不应被视为事件分类本身的限制，因为生成轨迹本身并不需要标签的存在。本研究中进行追踪的目的是为了提供干净且经过验证的真实轨迹数据，有关检测和追踪方法的评估，可以参考现有的文献[9,34]。

原始数据集中的每次检测记录包括视频名称、帧号、轨迹标识符、空间位置、蜜蜂的角度以及从AprilTag生成的唯一标识符。图2展示了视频帧和轨迹的一个示例。

3.5.2 事件数据集
从2019年8月7日和8日11:00到17:00之间连续12个小时、每帧20帧的视频中提取的数据，创建了一个手动标注的事件数据集，用于详细评估分类算法的表现。第3.5.1节描述的处理流程共产生了215,035条原始检测记录，这些记录对应于同一群蜜蜂在一段时间内的活动。通过追踪，生成了1690条原始轨迹，平均每条轨迹包含127.2帧（约6秒），中位数为62帧（约3秒）。

为了解决由于蜜蜂短暂遮挡或离开视野导致的轨迹分割问题，应用了一个5秒的时间聚类窗口来合并属于同一只蜜蜂的多个轨迹。聚类后，数据集缩减为1421个独立事件，因为多个连续的轨迹被合并成了一个整体事件。这些聚合事件的总长度中位数为151帧（约8秒），平均长度为72帧（约4秒）。选择5秒的窗口是通过反复试验得出的，最初尝试使用的是20秒[14]，但这个窗口导致了许多被错误连接或分类错误的轨迹。而[29]中使用的60秒窗口则会产生多个不连贯的事件。

这些事件经过可视化处理并手动分类，以确定4个感兴趣类别的标注结果：进入、离开、进入-离开、离开-进入。手动分类主要是通过观察每个事件中蜜蜂腰部关键点（y坐标）的轨迹随时间的变化来进行的。当轨迹的起点和终点明显位于帧的上下边界时，事件就被正确分类为简单的进入或离开事件，或者是U形转弯（进入-离开或离开-进入）。当这些模式不明确时（如轨迹中断、不连续、起点或终点不在上下边界、标签检测不一致），则通过直接查看相应视频来确认分类结果。排除那些没有正确标签的蜜蜂或因追踪错误产生的轨迹，以专注于从干净数据中分析蜜蜂的行为。最终保留了1194个事件作为实验评估的基准标签。

此外，还创建了一个更大的非标注数据集，包含289小时长的视频，其中包含3,567,840条原始检测记录，经过与小型标注数据集相同的预处理流程后，得到了22,820条轨迹。这个数据集没有进行手动标注，但它用于分析23天内的事件发生频率。

3.5.3 实验设计
算法的分类性能在三个实验中进行了评估，重点关注精确度、召回率和准确率。评估指标使用了scikit-learn的分类报告功能计算得出。

在第一个实验中，简单的算法被用于简单事件和复合事件的处理，复合事件被归为一个标记为“未知”的类别，以此来评估每种算法正确分类简单事件同时拒绝复合事件的能力。

在第二个实验中，具备处理复合事件能力的算法在多类环境中进行了评估，以测量它们区分简单事件和复合事件类型的能力。

在第三个实验中，使用完整的289小时数据集来评估复合行为在整体数据中的发生频率。所有22,820个事件都使用了具备复合事件处理能力的算法进行分类，以估计进入-离开和离开-进入动作的比例。

4. 结果
本节分四个部分展示实验评估的结果。首先概述了所有算法在简单和复合条件下的整体分类性能（第4.1节）。接着详细分析了复合事件的分类情况（第4.2节），然后重点评估了简单事件（第4.3节）。最后，研究了完整数据集中复合事件的普遍性（第4.4节）。

4.1. 整体分类性能
为了评估所有算法的一般表现，我们首先在最有利的条件下（即将复合事件归为“未知”类别）计算了分类准确率。这种分析考察了算法识别简单事件的同时正确拒绝复合事件的能力。准确率如图4a所示。图4展示了三个类别（进入、离开、未知）和四个类别（进入、离开、进入-离开、离开-进入）的预测分布。（a）三个类别的准确率。（b）三个类别的预测分布。（c）四个类别的准确率。（d）四个类别的预测分布。始终只进行简单分类的算法——即基于位移和角度的方法——在此设置下的准确率较低，因为它们很少将事件标记为“未知”。图4b展示了每种算法的预测类别分布，便于与实际事件分布进行比较。提出的基于位移的方法倾向于将复合事件分类为“离开”。相比之下，提出的双向方法通过显式建模复合动作实现了更高的准确率。基于简单阈值的方法在事件起始和结束位置相同的情况下也会将事件分类为“未知”，这也解释了它们在这种情况下相对较高的准确率。尽管这些方法并非专门设计来识别特定的复合事件，但它们能够正确排除这些事件。

接下来，我们评估了同时包含简单事件和复合事件时的性能。图4c和d显示了准确率和类别分布。在这种四类设置下，所有基于简单分类的算法准确率均低于70%，而具备处理复合事件能力的THRS_BIDIRECTIONAL和DISP_BIDIRECTIONAL算法的准确率保持在90%以上。ANGLE_BIDIRECTIONAL的准确率则低于其他所有算法，准确率显著下降。

在这种设置下，“未知”标签指的是那些无法明确归类到四个类别中的事件。ANGE_BIDIRECTIONAL类别出现了最高的未知事件比例，这一现象将在第4.2节进一步探讨。

总体而言，由于数据集中复合事件的普遍存在，如果不考虑复合事件，准确率会显著下降。如果不需要详细识别复合事件并将其视为噪声类别，那么基于简单阈值的方法在拒绝它们方面表现良好，而基于角度或位移的方法则不然。

4.2. 复合事件
为了更详细地分析复合事件的行为，我们计算了所有四个类别的精确度和召回率。这些结果分别显示在图5a和图5b中。图5展示了复合事件的各项指标。（a）复合事件的精确度。（b）复合事件的召回率。DISP_BIDIRECTIONAL在所有类别中都取得了较高的精确度，尤其是对于简单事件，表明了其预测的可靠性。对于简单事件，召回率较高；但对于复合事件，召回率有所下降。不同类别之间的性能不对称，进入-离开事件的检测一致性较差。错误分类的模式表明，进入-离开事件经常被错误地归为简单事件，说明该方法难以保持复合轨迹的双向结构。

在复合事件设置中，基于角度的方法的局限性更加明显。当结合使用ANGLE_START和ANGLE_END时，大量检测结果被归类为“未知”，导致复合事件无法进一步解析。图4d显示，ANGLE_BIDIRECTIONAL的许多输出属于“未知”类别。其在离开事件上的精确度最高，但在其他类别上的表现并不出众。这种方法的总体准确率为0.579，表明在完整轨迹信息可用时其适用性有限。

相比之下，THRS_BIDIRECTIONAL在复合事件上的精确度和召回率都非常高。对于蜜蜂短暂出现在入口区域然后离开的情况，该方法能够利用初始和最终位置进行有效分类。它在进入-离开和离开-进入事件上的召回率接近完美，同时在简单事件上的分类也几乎完美。其主要局限在于当轨迹在斜坡中间中断时跟踪会失效。这类问题目前被认为是“未知”事件，但未来可以探索如何正确补全不完整轨迹的方法。总体而言，这些结果表明，在轨迹信息完整的情况下，THRS_BIDIRECTIONAL是最有效的算法。在该数据集中，它将31.5%的复合事件正确分类为复合事件，并正确识别了374个复合事件中的370个。三种双向方法的混淆矩阵见附录A。

4.3. 简单事件
为了进一步了解各种算法成功或失败的原因，我们通过限制数据集只包含进入和离开事件来评估它们在简单事件上的表现。在这种设置下，所有算法的精确度都非常高，除了ANGLE_START和ANGLE_END外，所有算法在两个类别上的召回率也都很高，如图6a和图6b所示。图6展示了简单事件的各项指标。（a）简单事件的精确度。（b）简单事件的召回率。ANGLE_START在进入事件上的召回率较低。相比之下，ANGLE_END在离开和进入事件上的召回率都较低。这可能是由于离开区域附近蜜蜂的旋转角度变化较大且噪声较多，导致方向难以确定。因此，ANGLE_BIDIRECTIONAL无法可靠地分类简单和复合事件。

在新提出的算法中，DISP_START和DISP_END在进入和离开事件上均取得了较高的精确度和召回率。尽管在入口和出口类别之间观察到了轻微的性能差异，这可能是由于蜜蜂在出口附近运动不规则所致。尽管如此，它们的整体准确率仍达到0.976，与现有方法相当。DISP_END的性能与DISP_FULL相当，表明最终位移能够捕获大部分用于简单事件分类的区分信息。DISP_START在进入事件上的召回率也表现出色，但略微下降，可能是因为对初始轨迹段中的噪声或不确定性更加敏感。DISP_FULL结合了两种组件的优点，虽然提升幅度不大，但仍提供了更稳健的表现。虽然DISP_FULL在整体表现上最优秀，但DISP_END的强势表现表明，简单事件的分类主要受端点信息的影响。这有助于解释为什么基于位移的方法在简单情况下表现良好，但在处理复合事件时需要额外的结构支持。4.4 大规模复合事件的普遍性最后，为了确认复合事件的普遍存在性，我们使用能够识别复合事件的算法对从完整数据集中提取的22,820个事件进行了分类。结果显示，表现最佳的THRS_BIDIRECTIONAL方法检测到了8,430个复合事件，占总事件的36.9%。DISP_BIDIRECTIONAL和ANGLE_BIDIRECTIONAL的复合事件分类比例分别为26.3%和25.1%。我们还比较了使用20秒聚类窗口进行分类的结果，THRS_BIDIRECTIONAL这种方法识别出的复合事件占30.7%。如图7所示，大部分复合事件对应于进入-退出动作，这些动作在简单事件模型下可能会被误分类，从而在后续分析中引入错误。所有日子里，在斜坡区域结束的轨迹中，未知分类的平均比例为0.4%，中位数为0.2%。图7. 使用THRS_BIDIRECTIONAL对完整数据集进行的四类事件分布图，显示了每天每个类别中的事件数量。条形图上方的数据表示该天的记录事件数量，总计22,820个事件。4.5 飞行组装中的影响为了分析复合动作对飞行组装的影响，我们比较了使用不同事件分类算法后数据集中生成的飞行结果。对于这项分析，我们选择了两种表现最佳的复合动作算法和两种来自不同类别的现有方法。所选算法包括：THRS_BIDIRECTIONAL、DISP_BIDIRECTIONAL、DISP_FULL和ANGLE_SUM。我们将一个飞行定义为退出事件，其后续最接近的事件是进入蜂巢的动作，这两个事件之间的时间间隔即代表该次飞行。正式定义如下：其中t1是退出事件的开始时间，t2是与进入事件相关联的结束时间。表2显示了这些方法与手动组装飞行结果的对比。根据手动标注的真实数据，THRS_BIDIRECTIONAL正确组装了131个真实飞行中的130个，DISP_BIDIRECTIONAL正确组装了117个。两种方法都有3个误判为正类的错误飞行，THRS_BIDIRECTIONAL的错误率为99%，DISP_BIDIRECTIONAL的错误率为96%。这些是四种方法中最高的正确率和准确率。ANGLE_SUM方法的错误率最高，而DISP_FULL方法的误判为正类的数量最多。表2中的结果初步证明了复合事件在飞行组装中的重要性。表2. 2分钟以上至5小时内的飞行组装结果。根据手动标注的真实数据，总共记录了131个飞行时刻（正类），318个非飞行时刻（负类）。5. 结论本研究表明，复合动作是蜂巢入口处蜜蜂交通中一个重要但被忽视的组成部分。因此，在自动分类过程中忽略这些事件可能会导致觅食飞行重建和其他依赖判断蜜蜂是否在蜂群内部的行为分析中出现系统错误。我们的研究结果表明，专门设计用于捕捉双向运动模式的事件分类算法比那些假设蜜蜂行为严格单向的传统方法更为稳健。在评估的方法中，当有完整的轨迹数据时，基于阈值的双向分类方法表现最佳，对简单事件和复合事件都能提供高准确率。这些发现强调了将行为复杂性纳入事件分类算法设计的重要性，而不仅仅是建模主要关注的类别（在此案例中为进入和退出事件），并将偏差视为噪声或不确定性。通过扩展现有的启发式方法以明确建模复合事件，我们提高了自动化监控系统的可解释性和准确性，同时没有增加计算复杂度。所提出的方法可以很容易地集成到基于计算机视觉的跟踪工作流程中，并适用于涉及边界附近密集双向运动的其它领域。最终，将复合事件建模纳入人工智能驱动的蜜蜂监控系统中，可以实现更准确的行为分析，并支持精准农业和传粉者管理中的数据驱动决策。更广泛地说，这项工作强调了稳健事件分类作为智能环境监控系统的基础组件的作用。初步结果显示，使用复合事件分类方法组装飞行数据时，因错误分类而遗漏的蜜蜂飞行数量减少了20%以上。本研究使用了具有良好时间分辨率（20帧/秒）的数据进行跟踪，并在标签未被检测到时利用身体检测进行跟踪，从而在干净的数据集上验证了完整的轨迹。在这种背景下，基于位移和角度的启发式方法表现不如基于阈值的简单方法，在完整轨迹数据可用时，它们也可能将复合事件误判为简单事件。实际上，现场部署的边缘设备可能没有足够的计算资源来进行完整的姿态估计、高帧率跟踪和 robust 标签检测以获得清晰的轨迹，这是本研究未考虑的额外挑战。作为未来的工作，可以通过评估这种不完整信息对事件分类性能的影响来解决这一问题。基于本文的发现，我们认为应明确考虑复合事件的存在，并可能导致混合方法的出现，即可以在斜坡处中断的不完整轨迹根据角度或位移信息进行补全。