Agrosense v2:一种基于人工智能的精准果园感知和树木级监测系统

《Computers and Electronics in Agriculture》:Agrosense v2: An AI-enabled system for precision orchard sensing and tree-level monitoring

【字体: 时间:2026年04月26日 来源:Computers and Electronics in Agriculture 8.9

编辑推荐:

  农业物联网系统Agrosense v2实现柑橘园多任务实时监测,集成树检测(准确率92.73%-97.79%)、冠层密度分类(94.1%-96.8%)和果实计数(mAP@0.5达0.722-0.837),通过时空聚合与可视化工具提供树级地理信息。

  
刘世宇|Yiannis Ampatzidis|关恒月|刘文豪|周从良|崔大恩|李元锡
佛罗里达大学西南佛罗里达研究与教育中心(IFAS)农业与生物工程系,美国佛罗里达州Immokalee,邮编34142

摘要

精准果园管理需要能够在非结构化田间条件下可靠运行的感知系统,并提供可操作的、针对树木级别的信息。尽管计算机视觉和边缘计算技术取得了进展,但大多数方法仍侧重于孤立的任务,缺乏集成到可部署的、果园规模系统中。本研究提出了下一代农业感知系统(Agrosense v2),这是一个基于人工智能的系统化框架,用于实时果园感知和树木级别监控。Agrosense v2整合了树木检测与计数、树冠密度分类、树木高度估算(这些功能继承自Agrosense v1,但在本研究中未详细验证),以及基于图像的果实计数,将所有这些功能整合到一个统一的处理流程中。与前一版本(Agrosense v1)相比,Agrosense v2通过时间跟踪提高了树木识别能力,利用图像序列增强了树冠密度分类的准确性,并通过图像级检测增加了果实计数功能,所有输出结果都被汇总成树木级别的时空摘要,通过自开发的树木级可视化工具进行展示。在三个管理条件不同的柑橘果园进行了实地实验,共涉及3,696棵树,包括两个商业果园(Field A&B)和一个研究站(SWFREC)。树木计数准确率分别为95.96%(SWFREC)、92.73%(Field A)和97.79%(Field B),树冠密度分类准确率在94.1%到96.8%之间。对于果实检测,基于Transformer的RT-DETR模型在树木和地面上的mAP@0.5值分别达到了0.837和0.722,显示出在密集树冠和杂乱地面条件下的鲁棒性。据我们所知,Agrosense v2是第一个能够在单一框架内提供多种树木级别属性的实时、可部署的果园感知系统。通过统一感知、推理和地理参考聚合,Agrosense v2为数据驱动的精准果园管理提供了可扩展的基础。

引言

精准果园管理越来越依赖于准确、及时且可扩展的感知系统,以支持树木级别监控、产量估算和数据驱动的田间作业(El-Ansary, 2025; Sishodia et al., 2020; Zhang et al., 2024)。在果树中,柑橘果园由于树冠密集、枝条结构复杂以及果实可见性高度变化,代表了一个特别具有挑战性的生产环境。这些特点使得柑橘果园成为在真实世界条件下评估下一代果园感知系统的理想试验场(Costa et al., 2021; Dian et al., 2023; Tang et al., 2023)。最近在感知硬件和人工智能(AI)方面的进展使得使用基于视觉的(Bulanon et al., 2019; Longchamps et al., 2022)和边缘计算平台(Jiao et al., 2024; Rui et al., 2024)收集和分析大量果园数据成为可能,为精准农业应用创造了新的机会。
尽管取得了这些进展,但在果园规模上的有效部署仍然具有挑战性。果园中的视觉感知受到遮挡(Lu and Sang, 2015)、光照变化(Choi et al., 2016)、运动引起的模糊(Huang et al., 2025)以及树木和行之间的空间差异(Perry et al., 2010)的影响。在传统的柑橘果园中,这些挑战因复杂的三维树冠结构而进一步加剧,这使得侧视图观测在田间条件下本质上是片面的。这些因素对感知系统提出了严格要求,系统不仅必须达到可接受的准确性,还必须在非结构化的户外环境中可靠、高效且持续运行(Lacerda et al., 2025; Trentin and Ampatzidis, 2024)。因此,当系统在真实果园中部署时,其在受控实验环境中的表现往往会下降,这凸显了算法开发与实际应用之间的差距(Liu et al., 2025)。
现有研究主要集中在果园感知和分析流程的各个单独组件上。代表性研究包括使用基于深度学习的对象检测模型进行果实检测(Zhang et al., 2022; Chen et al., 2021)、基于图像或视频的果实计数(Wang et al., 2018; Gan et al., 2018; Malik et al., 2016),以及树木或地块级别的产量估算(Dorj et al., 2017; Trentin et al., 2024; Vijayakumar et al., 2023),还有用于精准喷洒等果园作业的传感器驱动或视觉引导系统(Partel et al., 2021; Khot et al., 2012)。虽然这些方法在各自的范围内取得了有希望的结果,但超过70%的研究通常作为仅针对果园感知流程的一个或两个组件的独立解决方案进行开发,而不是整体监控。感知、推理和下游部署之间的缺乏整合限制了它们的可扩展性,阻碍了其在实际果园环境中的应用(Liu and Ampatzidis, 2026; Rial-Lovera, 2018)。
从系统角度来看,有效的果园管理需要的不仅仅是孤立的算法改进。实际部署需要一个统一的框架,能够支持连续感知、在树木级别聚合信息,并与下游的决策和执行过程接口。在这样的系统中,感知模块必须生成可靠且可解释的输出,以便被更高层次的推理组件使用,同时满足实时约束和由野外可部署感知平台施加的硬件限制(Duckett et al., 2018; Oliveira et al., 2021)。这些要求推动了一个模块化且可扩展的系统设计,明确地连接了算法开发和实际果园部署。
为了满足这些需求,本研究的主要目标是开发和评估下一代农业感知系统(Agrosense v2),这是一个基于人工智能的、可部署在野外的感知系统,它将感知、推理和空间聚合整合到一个统一的实时框架中,用于树木级别的果园监控。具体来说,本研究旨在:(1)在真实果园条件下支持可靠的果园特征感知,包括树木计数、树冠密度分类和可见果实检测;(2)通过在田间行走过程中稳定识别树木并聚合帧级观测结果来实现树木级别推理;(3)生成用于果园监控和管理的地理参考树木级别表示。虽然一个完整的果园自动化流程还包括执行部分,但本研究侧重于感知和推理作为可扩展、数据驱动的果园决策的关键基础。据我们目前所知,本研究介绍了第一个使用侧视移动平台的柑橘果园感知系统,该系统能够在单一框架内同时实时收集多种形式的树木级别、实际可操作的信息。这里的统一框架指的是一个集成了数据采集、预处理和推理的感知流程,无需单独的感知系统或离线后处理。这些目标直接源于实际的果园管理需求。稳定的树木级别识别支持果园库存和纵向监控,树冠密度分类有助于评估树木状况和结构,果实检测有助于产量相关评估,地理参考聚合则能够实现果园变化的空间检查。
在早期果园感知工作的基础上(Zhou et al., 2025),Agrosense v2将之前的工作扩展为一个更加集成化的果园感知框架。与主要依赖帧级输出且未整合果实计数或实时树木级别可视化的Agrosense v1相比,Agrosense v2引入了四个关键改进:(1)跨帧的稳定树木识别时间跟踪;(2)基于序列的树冠密度推理而非单帧分类;(3)集成果实检测,并在树木和地面果实观测结果上进行树木级别聚合;(4)一个用户友好的地理参考可视化工作流程,用于实时树木级别果园监控。该系统明确考虑了部分树冠可见性、视角变化以及移动果园感知平台固有的操作限制(Azizi et al., 2024; Mena et al., 2024; Porwollik et al., 2017)。通过在一个统一的实时系统中整合多种树木级别测量,Agrosense v2超越了以算法为中心的评估,展示了一个直接支持果园规模情境感知和精准管理的实用感知框架。本文介绍了Agrosense v2的系统设计和核心感知模块,然后评估了该系统在真实柑橘果园中的性能,并最终讨论了当前研究的局限性和未来果园部署的方向。图1展示了Agrosense v2的整体工作流程。

部分内容

Agrosense v2的机械设计和工作流程

Agrosense v2系统是一个完全集成的便携式感知平台,专为果树监控设计。其核心硬件组件包括一个嵌入式边缘计算模块Jetson AGX Orin(NVIDIA Corporation,美国加利福尼亚州圣克拉拉);一个深度感知单元,由两个RGB-D相机组成,分别安装在平台的每一侧,使用的分别是Intel RealSense D435i(Intel Corporation,美国加利福尼亚州圣克拉拉)或ZED X(StereoLabs Inc., 美国加利福尼亚州旧金山)

数据收集

数据收集在三个具有不同管理条件的地点进行:(i)位于西南佛罗里达研究与教育中心(SWFREC)的实验果园,具有可控的实验区块;(ii)管理不善的商业果园Field A;以及(iii)维护良好的商业果园Field B。图8展示了每个果园的卫星视图和目标收集区域。
所有果园的数据都是在自然光照条件下收集的,涵盖了晴天和阴天的情况

树干检测和边界框过滤

YOLOv11n检测器在三个测试果园中的树干检测方面表现出色,平均mAP@0.5值为0.973(表2)。最佳置信度阈值确定为0.513,在此阈值下平均F1分数达到0.98,反映了精度和召回率之间的良好平衡。大多数未检测到的情况(图10中的代表性示例)发生在树干被草或树叶严重遮挡时,或者深度过滤器遮盖了部分区域时

局限性和未来工作

尽管Agrosense v2在多种果园感知任务和田间条件下表现出色,但仍存在一些局限性,这些局限性促使未来的研究和系统改进。这些局限性分为两类:非结构化果园中视觉感知的固有挑战以及我们当前检测和跟踪流程的算法特定故障模式。首先,在严重遮挡和复杂树冠相互作用的情况下,视觉感知变得困难

结论

本研究介绍了Agrosense v2,这是一个统一的、基于人工智能的果园感知系统,旨在在田间行走过程中实时提供多种实用的树木级别信息,包括树木数量、树冠密度和可见果实数量。Agrosense v2超越了仅依赖帧级检测和基于中心的计数策略的Agrosense v1,后者没有持续的树木身份或统一的树木级别聚合

CRediT作者贡献声明

刘世宇:撰写——原始草稿、可视化、方法论、调查、正式分析、数据整理、概念化。Yiannis Ampatzidis:撰写——审阅与编辑、验证、监督、资源管理、项目行政、方法论、调查、资金获取。关恒月:撰写——审阅与编辑、可视化、方法论、调查、正式分析、数据整理。刘文豪:可视化、正式分析、数据整理。周从良:撰写——审阅与

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本材料的部分制作得到了美国农业部与佛罗里达州特色作物区块拨款计划(项目编号AM200100XXXXG037)的合作协议的支持。其内容仅代表作者的观点,不一定代表美国农业部的官方立场。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号