《Smart Agricultural Technology》:Integrating mobile RGB-D imaging and digital odometry for trunk diameter mapping in tart cherry orchards
编辑推荐:
为应对果园尺度树干直径(Trunk diameter)高效测量的难题,研究人员开展了将移动RGB-D成像与基于传动系的数字里程计(Odometry)相结合的自动化制图研究。该系统在树冠遮挡GNSS信号不可靠的果园环境中,利用YOLO和SAM-2模型实现了树干检测、分割与三维重建,成功估算了距树干基部40 cm处的真实世界直径。在无遮挡条件下,估算值与人工测量值高度一致(MAE=0.95 cm, RMSE=1.16 cm, R2=0.79),并在9.5 ha的商业果园中绘制出与UAV(Unmanned Aerial Vehicle)树冠高度格局一致的树干直径空间变异图。结果表明,此低成本的集成系统可在商业田间条件下,为精准果园管理提供实用、高效的树干尺度结构性状制图方案。
想象一下,在广阔的果园里,果农们需要了解每一棵果树的长势和健康状况,而树干直径恰恰是衡量树体大小、活力和长期生长的关键“体格指标”。然而,传统上使用卡尺或卷尺进行人工测量,不仅费时费力,在面对成百上千棵树的商业果园时,几乎是一项不可能完成的任务。此外,在酸樱桃等果园中,机械采收造成的树干损伤和几何变形,使得精准、可重复的直径测量更具挑战性。与此同时,全球卫星导航系统(GNSS)在茂密树冠下的信号不稳定,也为大尺度空间定位带来了障碍。那么,有没有一种方法,能够像给果园做“CT扫描”一样,快速、自动、低成本地获取每一棵树的“腰围”数据,并将其精准地绘制在地图上呢?
为了回答这些问题,一项发表在《Smart Agricultural Technology》上的研究,开发并验证了一套创新的低成本移动成像系统,旨在实现商业酸樱桃果园的自动化树干直径估算与空间制图。这项研究巧妙地整合了RGB-D(彩色-深度)相机、基于深度学习的树干检测与分割、三维深度重建以及基于传动系的数字里程计,成功绕过了树冠对GNSS信号的干扰,为精准果园管理提供了一种切实可行的解决方案。
为了开展这项研究,作者们主要采用了以下几项关键技术方法:研究在美国犹他州两个不同规模和树龄的酸樱桃果园进行。首先,他们构建了一个移动成像平台,在通用任务车(UTV)两侧横向安装了英特尔实感D456 RGB-D相机,用于同步采集彩色和深度图像。其次,开发了一套完整的图像处理流水线,包括使用YOLOv11-large模型进行树干目标检测,利用Segment Anything Model v2 (SAM-2.1)进行语义分割,并通过针孔相机模型将分割后的像素与深度数据结合,重建树干的三维点云,最终在距重建树干基部40 cm的高度切片上估算直径。第三,为了解决GNSS在树冠下失效的问题,研究者基于车辆传动系的变磁阻传感器开发了一套数字里程计系统,用于在行进中提供沿树行的距离和定位信息。最后,通过地面实测的树干直径数据对系统精度进行了验证,并利用无人机(UAV)正射影像和地理信息系统(ArcGIS Pro)进行了空间制图与比对分析。
研究结果
3.1. 树干检测与分割性能
在田间完全移动的条件下,自动化检测与分割表现出可靠的性能。在整个果园部署中,流水线在94.0%的采集帧中识别出了“感兴趣树干”。由于图像以1 Hz频率在车辆连续移动中采集,自然包含了各种视角条件。应用预定义的几何门控标准后,55.6%的被检测树干被归类为完全可见且位于帧中心。SAM-2为可用帧中生成了连贯的树干掩模,在左右相机分别有56.0%和55.4%的YOLO检测帧中产生了可操作的有效掩模并成功提取了直径。这表明系统在真实的、变化的果园条件下具备稳定的树干识别与分割能力。
3.2. 树干直径估算精度
来自立体视觉流水线的单树树干直径估算值与地面实测值表现出高度一致性。在手动审查并选取每棵树最佳帧的单个果园行中,相机估算值与实测值呈高度线性关系(R2= 0.79),平均绝对误差(MAE)为0.95 cm,均方根误差(RMSE)为1.16 cm。当将全自动、帧平均的方法应用于整个1公顷果园区块时,尽管存在树干被基生枝、采收机伤痕、杂草部分遮挡等现实情况,自动化单树平均值仍能较好地跟踪实测值(R2= 0.40; MAE = 1.40 cm)。布兰德-阿尔特曼(Bland-Altman)分析显示平均偏差较小(-0.54 cm)。若过滤掉遮挡明显的树(MAE < 2.5 cm),一致性显著提高(R2= 0.63; MAE = 1.10 cm)。这些结果表明,在树干清晰可见时系统估算准确,而在全自动工作流下,通过对多帧观测值进行平均,即使在真实的果园条件下也能获得有意义的单树信号。
3.3. 数字里程计性能
在平坦铺装道路上的独立验证表明,数字里程计估算的距离与实测距离紧密匹配,100米行程的累积漂移仅为+0.08米,平均绝对分段误差为0.32米。在果园松软地面上,由于可能存在车轮打滑,误差可能增大。因此,在后处理中应用了固定的每行距离调整(如启动压缩、终点拉伸)以确保图像位置与树木实际位置准确对齐。验证表明,基于传动系(而非车轮旋转)的里程计,在辅以后处理调整后,能提供稳定的沿行定位。
3.4. 全区块制图与空间验证
在一个9.5公顷的商业酸樱桃果园中,里程计估算的行长与基于无人机正射影像在ArcGIS Pro中量测的行长相比,表现出一致的正向偏差,平均绝对误差(MAE)为11.78米,但线性拟合斜率接近1(1.04),R2高达0.97,表明误差是成比例且可预测的。将沿行距离点数据叠加在无人机影像上显示,相机帧位置与树冠和固定地标(如风机)的预期位置吻合良好。对整个数据集生成单树级别地图显示,相机估算的树干直径与无人机衍生的树冠高度(P90)在空间格局上具有一致性,两者都反映了果园内已知的树势区域。两者在单树水平上呈现正相关但关联度中等(R2= 0.20),表明这两个结构性状捕捉了相关联但不同的果园变异方面。
研究结论与讨论
本研究证实,在真实的果园条件下,利用移动RGB-D成像和里程计系统能够准确、一致地测量并绘制树干直径。与先前研究相比,其精度(MAE 1.10-1.40 cm)与其它近端传感方法相当,但优势在于更低的成本和适于商业田间常规作业的部署性。系统的核心贡献在于集成了低成本的RGB-D传感、基于深度学习的树干定位、深度信息直径提取和基于传动系的里程计,形成了一套实用的果园尺度表型分析框架。
数字里程计被证明是解决树冠下GNSS性能不可靠的有效方案。虽然存在一致的、可预测的比例误差,但通过简单的后处理调整即可实现与空间特征的准确对齐,这为果园环境下的可靠定位提供了实用路径。
从商业果园的制图结果可以看出,树干直径空间格局与无人机树冠高度格局的一致性,表明树干直径反映了果园尺度的基础树势梯度。与每年可能因修剪、负载而波动的树冠属性不同,树干直径融合了多个生长季的累积生长,具有时间稳定性,这对于划定管理分区、验证长期变异或校准决策支持模型具有特殊价值。
尽管系统表现可靠,但仍存在一些局限。最主要的挑战来自植被、树枝、不均匀光照等造成的树干遮挡,以及强日光对深度数据质量的影响。未来可通过在夜间操作并使用主动照明、采用更统一的硬件定时信号、或集成惯性测量单元(IMU)等方式进行改进。此外,该框架向其他果园作物的可移植性,将取决于树干下部的可见度和果园架构。
总之,该研究展示了一种将移动深度成像与里程计相结合,在常规田间作业中可靠测量并绘制整个果园区块树干直径的实用方法。所获得的树干直径数据作为一种稳定的结构性状,补充了精准园艺中使用的树冠和土壤测量,为将基于树干的传感技术整合到商业果树生产系统中提供了低成本、可操作的框架。未来的工作可侧重于提高系统自主性、优化针对严重遮挡的处理、以及探索与自动驾驶果园平台和更自动化工作流的集成。