《Frontiers in Plant Science》：Research progress on precision orchard yield estimation based on multi-source information perception sensors
编辑推荐：
这篇系统性综述聚焦精准果园估产的核心技术，系统梳理并对比了基于机器视觉、遥感（RS）及多源数据融合的估产方法。文章不仅从方法与应用视角剖析了各类技术的优劣，还深入探讨了果实遮挡、数据异构性等关键挑战，并展望了集成先进算法、促进多模态数据融合与开发智能自动化估产平台的未来方向，为果树产业的现代化提供了重要的理论指导与技术支撑。
基于多源信息感知传感器的精准果园估产研究进展
在果园生产管理中，产量估测是核心环节，为施肥、贮藏、销售等决策提供关键数据支撑。然而，传统的人工调查和经验评估方法，不仅费时费力，且难以充分考虑单株差异及地形、光照等环境因子的影响，估测误差大。随着机器视觉与遥感技术的快速发展，现代果园估产方法应运而生，展现出克服传统方法缺陷的潜力。本综述旨在系统总结利用机器视觉、光谱遥感和多传感器融合进行果园估产的研究进展，并深入分析不同方法范式的适用性、优势与局限。
果园估产基于机器视觉技术
机器视觉作为深度学习的重要分支，在智慧林业的果实识别与果园估产等关键任务中展现了广阔前景。当前的果园估产方法大体可分为直接估产和间接估产。无论采用何种策略，果实检测与计数的准确性始终是影响估产性能的核心因素。
基于图像分割的果实计数算法
图像分割方法可分为传统的基于阈值的分割和基于深度学习的分割。传统方法通常基于颜色、纹理或形状特征设定阈值，实现果实区域的初步分割，再通过区域特征识别与计数确定果实数量。例如，有研究利用HSL色彩空间的阈值分割法自动估算单株苹果的花簇数量；或结合RGB、YCbCr色彩空间与纹理分析进行芒果果实分割与计数。然而，这些方法依赖于人工设定的阈值，在复杂环境条件下鲁棒性和泛化能力有限。近年来，基于深度学习的图像分割方法表现卓越。例如，基于U-Net架构的AgRegNet模型可用于分割图像中的花果并生成密度图，进而通过回归模型估产；YOLACT++实例分割模型与FlowrNet密度图回归算法结合，可实现荔枝花序的精准计数；Mask R-CNN框架则可用于蓝莓的实例分割与成熟度判断。相比传统方法，深度学习模型能自动提取多层次图像特征，显著提高分割精度与模型泛化能力。
基于目标检测的果实计数方法
目标检测方法可实现果实的自动定位与计数，并有效应对果实重叠、遮挡等挑战。根据数据类型，可分为基于图像数据和基于视频数据的方法。基于图像数据的方法，其拍摄角度和图像质量是关键影响因素。多角度成像和无人机（UAV）航拍树冠正射影像被广泛应用，以降低漏检。例如，YOLOv4模型被用于分析不同环境下的柑橘检测性能；YOLO算法结合线性回归模型用于板栗的果实计数与产量预测。基于视频数据的方法，则利用帧间目标关联进行跟踪，有效控制重复计数。常将YOLO系列模型与卡尔曼滤波、SORT等跟踪算法结合，或采用改进的多目标跟踪算法如OC-SORT、ByteTrack等，以提升复杂树冠条件下的跟踪稳定性与计数精度。
目标检测算法主要分为单阶段和两阶段模型。以YOLO系列为代表的单阶段算法，将检测任务转化为回归问题，检测速度快、架构简单，已成为果实检测的主流。研究者们常通过引入注意力机制、替换骨干网络、优化特征融合模块等方式对YOLO模型进行改进，以提升特定水果的检测精度。而以Faster R-CNN为代表的两阶段算法，通常先生成区域建议，再对区域进行分类和定位微调，在检测精度尤其是小目标和重叠果实检测方面优势显著，但计算成本高、推理速度慢。尽管两阶段模型精度更高，但在自然果园环境中泛化能力相对较弱，因此单阶段模型因其速度与部署效率优势，仍是果实计数的主流选择。
小样本与零样本果实检测
为减少对大规模标注数据集的依赖，小样本学习与零样本学习成为果实目标检测的重要方向。小样本学习旨在利用少量标注样本识别和检测新物体类别，可通过在基础类别上充分训练模型，再通过特征迁移或元学习策略快速适配到新类别。零样本学习则旨在不使用任何标注样本的情况下检测新类别，其核心在于通过语义嵌入在视觉特征和语义特征之间建立映射，实现“从已知到未知”的知识迁移。例如，基于Grounding DINO的开放词汇检测框架，结合文本提示，可实现跨多种果树物种的统一检测，无需为每种水果单独标注和训练，显著降低了数据集构建成本。
幼果检测与识别
幼果识别是果园产量预估和精准栽培管理的关键环节，对于早期坐果评估、智能疏果和生长监测至关重要。相比成熟果实，幼果体积小、颜色与周围叶片相似、形态特征不稳定，且常受枝叶遮挡或光照变化影响，检测难度更大。研究显示，YOLOv8、YOLOv11等模型即使在枝叶严重遮挡、光照多变的复杂苹果园环境中，也能实现高精度的幼果实例分割，为果园环境早期果实检测与产量预估提供了高效可靠的解决方案。
果实尺寸估测
果实尺寸是果园产量预估的关键参数之一。早期研究主要依赖二维图像分析，通过像素测量推算果实直径或面积，但易受拍摄角度、光照变化和果实遮挡影响。为克服二维成像的局限，越来越多的研究采用立体视觉和运动恢复结构三维重建方法，获取果实的空间点云，实现更精确的果实体积和形态测量。例如，结合Mask R-CNN实例分割与运动恢复结构摄影测量，可实现苹果的三维定位与体积测量。新兴的神经辐射场技术为果园环境的三维重建提供了新方案，通过与深度信息和语义约束结合，在果园场景中实现精确的三维果实测量与产量预估具有巨大潜力。此外，基于深度感知和多模态成像的策略也被用于果实尺寸估测，在精度和效率之间取得了较好平衡。
基于光谱遥感的果园产量预测
除了基于表型特征，越来越多的研究者利用光谱遥感技术反演冠层尺度的生理生态特征，实现树木健康与生理动态的时空监测，为更全面、精准的产量预测提供支持。根据监测尺度，可分为田块尺度和区域尺度。
田块尺度产量估测
主要针对小型、边界清晰的果园，通常以无人机为传感器平台进行数据采集。目前主要有两类方法：一是基于果树冠层各组分光谱反射率差异分割果实像素，再利用回归方法估产；二是提取整个冠层的光谱反射率，基于光谱特征与单株果实重量之间的非线性关系构建回归模型估产。当前研究以后者为主流，如基于归一化差异植被指数、绿度归一化差异植被指数等多种植被指数及冠层面积特征，结合机器学习算法进行石榴产量估测。研究还关注遥感监测时间点与果实产量的关系，通过分析不同物候期的光谱数据与产量变量的关系，实现间接估产。例如，结合无人机多光谱数据与多种机器学习模型，估测不同生育期的单株苹果产量，提出的生育期堆叠集成方法显著提高了估测精度。
区域尺度产量估测
针对地形复杂、地块分散的果园，卫星遥感技术提供了重要的数据支持。随着商业卫星传感器升级，图像分辨率大幅提高，足以满足单木检测需求。例如，利用WorldView-3高分辨率卫星影像，选择多种光谱指数和冠层面积作为自变量构建产量回归模型，实现芒果产量估测。类似田块尺度的无人机遥感，区域尺度的卫星遥感应用也高度依赖多时相数据以提高预测精度和稳定性。多时相遥感影像可以捕捉开花、新梢生长、果实膨大等关键生育期的光谱变化。研究表明，整合时间序列遥感数据与季节天气变量，或结合历史产量数据，可以构建优于单因子模型的产量预测模型。无论是基于卫星还是无人机遥感，利用多时相影像和植被指数等关键参数，都能有效实现果树产量估测。
基于数据融合的果园产量估测
单一传感器方法在信息维度上存在局限，难以全面反映复杂环境条件下果树的真实状态。多传感器数据融合技术逐渐成为提升产量估测精度的重要途径。根据融合层次和信息复杂程度，可分为数据级、特征级和决策级融合。
数据级融合
旨在融合来自多个传感器的同类型原始数据，最大限度地保留原始信息。其优势在于可有效提升单一数据源的信息质量，如果实图像拼接、像素级融合等。在遥感估产中，融合高分辨率无人机遥感数据与卫星数据，可以提升空间精度并扩大观测范围。然而，数据级融合对数据同步、空间配准和噪声控制要求高，且难以有效整合跨模态信息，在果园估产中的实际应用仍有待推进。
特征级融合
侧重于对不同传感器数据中高表征性特征的提取、转换与融合。相比数据级融合，能更有效地剔除冗余信息和噪声，提升数据泛化能力，更适合跨模态、多模态数据的深入分析。早期研究基于传统机器学习方法，融合RGB图像的纹理特征和光谱数据的光谱特征，构建判别性更强的特征集。随着深度学习兴起，基于深度学习的特征自动提取和端到端学习为特征级融合引入了新方法。然而，特征级融合在果园产量估测中的应用仍相对有限，处于初步探索阶段。
决策级融合
主要整合基于不同传感器或数据源独立建立的预测模型的输出，在更高层次实现综合决策。该方法能有效融合多模态、多尺度数据的整体预测优势，显著提升产量估测模型的整体精度和鲁棒性，尤其适用于数据源多样、环境因子多变的果园管理场景。例如，融合遥感数据与气象变量预测霜冻对苹果产量的影响；或结合无人机遥感数据与长短期记忆时间模型，准确预测多因素影响下的柑橘产量。未来研究可探索深度集成学习、贝叶斯优化等技术，以进一步提升决策级融合方法的稳定性与泛化能力。
果园产量估测平台
随着智慧农业快速发展，机器视觉、遥感、多传感器融合等技术依赖于高度自动化的数据采集平台。集成光学成像、激光雷达、热红外、高光谱等多种传感器的智能系统，可显著减少人工参与，实现全天候、高精度的果园监测。然而，当前研究在果树种类、果园结构、传感平台和评估方案上仍较为碎片化，缺乏统一的比较框架。果实遮挡、数据异构性、跨果园场景的自动化与适应性有限等挑战依然存在。未来的工作应加强先进算法集成，推动多模态数据融合，并针对多样化果园环境开发智能、自动化的产量估测平台。
