开发一种决策算法，用于确定机器人采蘑菇作业中的采摘策略

《Computers and Electronics in Agriculture》：Development of a decision-making algorithm to identify picking strategies for robotic mushroom harvesting

机器人蘑菇收割策略研究：基于YOLOv5s检测与聚类分析优化决策

　　

Sadjad Mahnan|Lawrence Arthur|Long He|Shirin Ghatrehsamani|Paul Heinemann|John Pecchia

宾夕法尼亚州立大学农业与生物工程系，美国宾夕法尼亚州大学公园市

摘要

由于平菇（Agaricus bisporus）的菌盖非常娇嫩，为了保持新鲜市场的品质，它们在全球范围内都是通过手工采摘的。作为全球主要的蘑菇生产国之一，美国蘑菇产业面临着高昂的生产成本和劳动力短缺的问题，因为蘑菇采摘是一个劳动密集型过程。因此，开发替代方案（如模仿常见手工采摘技巧的机器人采摘系统）变得越来越重要，这些技巧包括弯曲、扭转和抬升等动作。本研究旨在制定一种决策策略，以实现有效的采摘顺序和弯曲方向。研究采用了YOLOv5s模型来检测和定位蘑菇，通过基于像素的阈值来识别蘑菇的成熟度，并利用DBSCAN方法进行空间聚类分析。通过这些方法揭示了蘑菇的空间分布，确定了采摘顺序和弯曲方向，并通过人工采摘测试验证了该策略的有效性。结果显示，YOLOv5s模型的平均精度（mAP）为97%，成熟度检测的R2值为97%（像素数量与距离的关系），弯曲距离由弯曲系数（$k$）和目标蘑菇的菌盖直径共同决定，聚类性能的加权轮廓系数为0.28 ± 0.13。所开发的采摘策略能够在不同聚类条件下成功识别目标蘑菇的空间分布，并为所有被检测到的蘑菇提供正确的采摘顺序和弯曲方向（100%）。这些发现表明，所提出的采摘策略可以用于未来的机器人采摘系统自动化。

引言

平菇（Agaricus bisporus）是一种优质的营养来源，同时也具有药用价值（Ba等人，2021年；Roncero-Ramos和Delgado-Andrade，2017年；Sassine，2021年）。美国是全球领先的蘑菇生产国之一，2023-24季节的产量约为299千吨，价值10.9亿美元。新鲜市场占总销售额的88%，而加工产品占12%。此外，美国约三分之二的蘑菇产量来自宾夕法尼亚州（USDA-NASS，2024年）。从2014年到2024年，美国的蘑菇产量下降了31%，种植者数量也从2008年到2018年减少了20%（USDA-NASS，2018年；USDA-NASS，2021年；USDA-NASS，2024年）。产量下降的主要原因是平菇的菌盖非常娇嫩，需要手工采摘以保持品质和外观，从而延长保质期。此外，选择性采摘成熟蘑菇的过程更加耗时且劳动强度更高（Zied和Arturo，2017年）。然而，劳动力短缺已成为农业领域的一个严重问题（Salzwedel，2023年）。美国农业部经济研究服务局指出，目前找工比以往更加困难（ERS，2023年）。与其他农业行业一样，蘑菇产业也面临着劳动力短缺的问题，这影响了生产的可持续性（Sexsmith等人，2024年）。一些研究人员正在探索开发机械和自动机器人解决方案以应对这一挑战。

自1970年以来，欧洲的蘑菇产业已经开始使用机械采摘设备（如Van den Top BQ，荷兰）（Van den Top，2024年）。这些设备的采摘速度超过了人工采摘的速度（Azoyam，2004年）。然而，这些设备需要专门的蘑菇种植架，而且无论蘑菇的大小和成熟度如何都会被采摘，导致很多蘑菇受损，品质较低，仅适合加工用途（Zied和Arturo，2017年）。因此，人们提出了机器人采摘系统等替代方案，以解决这一问题。

理想的机器人蘑菇采摘系统应该能够识别蘑菇的大小、成熟度和位置，避免损坏或污染蘑菇，修剪菌柄，并将蘑菇轻轻放入容器中，以满足新鲜市场的优质要求（Reed等人，2001年）。Reed和Tillett（1994年）开发了一种使用真空杯末端执行器的初步机器人采摘系统。他们发现，与扭转相比，弯曲作为分离方法可以提高采摘效率。这种设计后来发展成了更可靠的采摘装置。改进后的机器人结合了弯曲、扭转和分离蘑菇的动作，将蘑菇损伤减少了80%以上（Noble等人，1997年）。Huang等人（2021a）通过开发机器人采摘系统验证了这一方法的有效性，首次采摘的成功率为90%，第二次采摘的成功率为94.2%。另一项研究（Huang等人，2021b）表明，与其他采摘方法相比，弯曲方法所需的力更小，更适合机器人操作。

此外，机器人蘑菇采摘系统还需要有效的机器视觉系统来识别和提取蘑菇特征并执行采摘策略。最早的机器视觉系统研究始于1991年（Tillett和Batchelor，1991年）。他们开发了一种蘑菇图像分析算法，通过设置高阈值和低阈值来计算蘑菇在生长床中的位置和大小。Lu等人（2019年；Lu和Liaw，2020年）利用YOLOv3结合评分惩罚机制来测量蘑菇大小和数量，检测准确率为82.7%。Chen等人（2023年）的研究显示，YOLOv5s模型在蘑菇检测方面的准确率超过98%，菌盖中心点估计的误差为0.5%，蘑菇直径的误差为1%。基于分水岭的分割算法在蘑菇识别方面表现良好，准确率约为96%。

如前所述，平菇通常成簇生长，生长速度和菌盖大小各不相同。此外，蘑菇不会同时成熟，需要分三次采摘成熟的蘑菇。然而，在这种条件下，区分成熟的蘑菇并确定其采摘顺序和弯曲方向是一个挑战。尽管之前的研究已经解决了检测和分割的问题，但尚未提出系统的框架来对紧密生长的蘑菇进行聚类、决策和采摘顺序规划。因此，本研究的主要目标是通过开发一种基于决策的算法，将蘑菇感知转化为实际可行的采摘策略，从而推进现有知识。该算法通过明确指定弯曲方向和采摘顺序，为机器人采摘系统提供了指导。为实现这一目标，提出了三个目标：1）使用YOLO模型检测蘑菇并识别生长床中的成熟度；2）制定有效的采摘顺序，考虑蘑菇及其与起始点的距离；3）开发有效的决策算法，以确定机器人采摘的最佳弯曲方向。

材料与方法

所提出的决策和采摘顺序算法的整体工作流程如图1所示。算法首先使用YOLOv5s模型捕捉图像并检测蘑菇菌盖，然后根据菌盖大小进行分析，接着进行簇检测以确定采摘顺序，最后计算弯曲距离并识别附近的蘑菇以确定弯曲方向。

训练结果分析

通过标准指标（精度、召回率和平均精度mAP）评估了YOLOv5s模型在平菇检测方面的性能，共进行了300个周期的测试。精度和召回率分别为92%和94%，在IoU阈值为0.5时，mAP为97%。

成熟度检测

从不同高度的相机收集图像后，对2厘米网格单元内的像素数量进行了计数（图12）。曲线显示了对数关系，可以用以下公式表示：$P=80.1\ln \left(H\right)+322.97$

模型训练和蘑菇成熟度检测

使用精度、召回率和mAP作为指标评估了YOLOv5s模型的性能，结果分别为92%、94%和97%，表明该模型能够有效检测生长床中不同大小的蘑菇，与Chen等人（2023年）的研究结果一致。该模型能够检测到被其他蘑菇遮挡的部分蘑菇，并区分菌柄和菌盖。因此，可以认为该模型具有较高的检测能力。

结论

本文提出并分析了一种用于采摘平菇（Agaricus bisporus）的决策和采摘顺序算法。尽管该算法是在实验性的蘑菇生长环境中测试的，但它为商业种植设施中的机器人采摘系统提供了潜在的策略。分析结果包括使用CNN模型进行蘑菇检测、成熟度检测以及采摘动作中的弯曲距离等参数。

CRediT作者贡献声明

Sadjad Mahnan：撰写初稿、验证、方法论研究、数据分析、概念化。Lawrence Arthur：撰写、审稿与编辑、方法论研究、数据管理。Long He：撰写、审稿与编辑、监督、方法论研究、资金获取、概念化。Shirin Ghatrehsamani：撰写、审稿与编辑、监督。Paul Heinemann：撰写、审稿与编辑、监督。John Pecchia：撰写、审稿与编辑、监督、资源协调。

利益冲突声明

作者声明没有已知的财务利益或个人关系可能影响本文的研究结果。

致谢

本研究部分得到了美国农业部（USDA）国家食品与农业研究所（NIFA）的资助，项目编号为PEN04822，授权号为7005925。此外，该研究还得到了USDA NIFA特色作物研究计划（SCRI）的资助（项目编号2021-51181-35859）以及东北可持续农业研究与教育计划（授权号GNE24-338）的支持。我们还要特别感谢...