《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：Dynamic reconfiguration in multi-robot agent systems using embedded language models
编辑推荐：
智能工厂中异构机器人通过AAS元数据与LLM代理协同完成任务，中央监督代理利用检索增强生成动态分配任务，实验验证了多平台机器人可靠通信与协调，支持插件式集成和离线运行。
Shokhikha Amalana Murdivien|Jongsu Park|Jumyung Um
韩国京畿道龙仁市德敬路1732号京熙大学人工智能系，邮编17104
摘要
在现代智能工厂中，协调异构机器人系统对于实现灵活和可扩展的自动化至关重要。本文提出了一种通信框架，在该框架中，每个物理资产（如机器人或摄像头）都使用独立的大型语言模型（LLM）代理进行操作，而监督代理则根据资产管理壳（AAS）中定义的标准化元数据进行任务解释和分配。AAS提供了关于每个资产技能和操作状态的机器可读描述，而检索增强生成机制在运行时为监督代理提供与任务相关的信息，从而实现无需大量重新编程的自适应任务规划和重新分配。该框架通过多个实验进行了验证，包括对本地部署的LLM进行结构化任务分配的评估、对AAS更新做出动态分配的反应、代理间数据传输以及在异构物理机器人上的实际执行。结果表明，任务执行一致、消息传递可靠，代理间的协作行为协调。进一步比较评估表明，虽然本地LLM对于定义明确的任务非常有效，但在指令模糊或冲突时的鲁棒性取决于底层模型的推理能力。通过将AAS元数据与分布式LLM代理和集中式推理层相结合，该方法支持异构资产的即插即用集成，同时保持隐私并实现离线操作，为自主制造系统提供了可扩展且可解释的基础。
引言
现代智能工厂中的灵活和可扩展生产依赖于机器人、视觉传感器和控制系统之间的有效协调。实现这种协调需要工业资产的共享和标准化表示，包括物理设备和软件组件。为了满足这一需求，工业4.0引入了资产管理壳（AAS）的概念，作为工业资产的标准化数字表示。AAS反映了工业资产的物理和操作状态，提供了实时交换其当前状态和能力的一种结构化方式[1]，[2]。随着AAS在工业系统中的采用越来越标准化，它为协作制造环境中的机器级理解和推理提供了有希望的基础。随着AAS成为Platform Industrie 4.0和IEC 63278等标准化倡议的一部分[3]，预计其将在大型制造商和中小企业（SMEs）中得到更广泛的应用。
以往的协作机器人系统依赖于静态通信协议和预定义的控制层次结构。机器人之间的通信通常依赖于硬编码的接口，协调由中央控制或手动定义。虽然现有的适配器或中间件可以统一消息格式，但它们无法在没有大量手动工程的情况下支持异构资产之间的协作，例如实现特定于供应商的协调逻辑或硬编码的机器人间接口，而这通常在系统配置更改时需要修改[1]。减少这种集成负担需要一种将系统级任务推理与特定于机器人的实现解耦的协调机制，这无法通过静态适配器或基于规则的映射来实现。因此，这些系统无法动态响应代理故障或任务重新排序等变化。此外，由于缺乏支持透明、基于语言的交互的统一通信层，异构机器人之间的协作难以扩展。解决这一限制需要一种既可被机器解释又可被人理解的通信范式，使代理能够通过灵活的、基于语言的交互来交换任务信息，而不是依赖于特定于供应商的代码。
大型语言模型（LLMs）最近作为一种潜在的解决方案出现，它们使机器人能够使用自然语言指令进行通信和协调。与依赖固定数据映射的传统基于规则或基于学习的接口不同，LLMs可以灵活地解释和生成基于上下文的响应，允许代理在没有明确编程机器人间交互逻辑的情况下解释高级任务描述以进行协调。它们的推理和泛化能力使它们适合在需要明确编程每个交互的异构环境中支持协调。然而，当前的基于LLM的机器人应用通常依赖于在初始提示中编码所有相关的任务和代理信息，或者依赖于实时感知输入来理解环境。在智能工厂的背景下，安全性、精确性和操作可追溯性至关重要，这些方法存在显著的风险，因为提示中的缺失或过时的上下文或不可靠的感知可能导致严重故障。
此外，传统的协调框架通常依赖于基于规则的规划器或数学优化方法来分配任务[4]。虽然这些方法在结构化和可预测的环境中有效，但它们需要明确的任务规则和大量的模型工程。一个主要限制是它们计算成本高昂，并且在机器人数量增加或系统组成发生变化时难以重新配置[5]。因此，这些刚性方法在异构环境中的扩展性较差，且在没有显著手动重新编程的情况下难以处理动态任务变化或高级人类指令[6]。这些挑战突显了需要一种更灵活的推理机制，该机制能够解释高级意图并在执行过程中适应变化。
为了克服这些限制，本文利用AAS作为标准化和结构化的运行时知识源，使LLM代理能够通过检索增强生成（RAG）机制对实时元数据进行推理。在所提出的方法中，实时仅指AAS提供最新的资产信息。这种方法确保任务分配决策反映了每个代理的当前状态和能力，同时支持自主操作和人类指令。通过集成AAS驱动的元数据，该框架最小化了对额外感知系统或复杂集成层的需求。
本文提出了一种通信框架，其中每个机器人和视觉传感器（摄像头）都与一个LLM代理配对，该代理根据资产的AAS执行任务规划和协调。该系统采用分布式架构，每个资产都托管自己的基于LLM的代理。这种设计实现了即插即用集成，因为代理在添加、移除或更换资产时可以独立操作，无需中央重新配置。监督代理解释高级用户命令，并通过从AAS文档语料库中动态检索相关元数据来分配子任务。通过RAG，系统在保持灵活性和可解释性的同时保持最新的上下文意识。所有代理通过基于语言的消息协议进行通信，即使在异构平台之间也能实现无缝交互。
在这个框架中，自然语言专门用于协调和任务通信，而每个物理代理使用自己的预定义控制功能独立执行操作。为了确保在工业环境中的实际部署能力，该框架设计为使用本地部署的LLM运行，避免依赖外部云服务，并实现本地执行，更好地满足成本、连接性和数据隐私要求，特别是对于中小企业（SMEs）。
本工作的主要贡献总结如下：
- (1)
引入了一个分布式多代理通信框架，其中每个物理资产（机器人或摄像头）都与一个独立的LLM代理配对。这种设计实现了即插即用集成，允许在不需要重新配置系统级逻辑的情况下添加、移除或替换资产。
- (2)
AAS被用作描述每个资产的技能、操作状态和配置的标准化元数据层，以供应商中立的方式。通过将能力表示为自然语言技能，该框架支持跨异构机器人的协调，而不依赖于特定于供应商的API。
- (3)
集成了一种基于检索的推理机制，允许监督代理在每个决策步骤之前仅查询与任务相关的AAS条目。这使得基于更新后的资产状态进行动态任务规划和重新分配成为可能，而无需硬编码规则或静态工作流程假设。
- (4)
建立了一种用于代理间通信的自然语言消息协议，支持灵活的任务解释、自适应协调和系统中的透明交互。
- (5)
整个框架已在具有不同平台和能力的物理机器人上实现并进行了验证，证明了在真实世界设置中的成功任务执行、动态重新分配和可靠的代理间协调。
本文的其余部分组织如下：第2节提供了与基于LLM的机器人协调和标准化资产表示方法相关的现有文献概述。第3节描述了基于LLM的代理系统的架构和AAS子模型。第4节展示了实验验证结果，证明了本地部署的LLM的性能、动态分配和通信准确性。最后，第5节和第6节讨论了从这项研究中得出的发现和结论。
章节片段
工业4.0和智能工厂
通过采用大数据和人工智能技术，智能制造取得了显著进展。然而，仍然存在一些挑战，包括生产需求的变异性、动态任务重新分配的需求以及减少人类干预的目标。因此，需要修改传统的制造方法以满足工业4.0的目标，如可持续性和响应性[7]。
异构资产之间的互操作性是关键
框架设计
本节描述了所提出的基于LLM的多机器人通信系统的框架设计。该系统使得异构代理（如工业机器人和摄像头）之间的协作任务执行成为可能，这些代理通过由LLM驱动的中央监督代理进行协调。每个物理资产都由AAS表示，AAS提供了描述技能和操作状态的结构化元数据。利用这些信息，监督代理可以动态地
实验和结果分析
本节介绍了一系列实验，用于评估所提出方法的性能。实验分为四个阶段：（1）不同LLM之间的任务分配基线评估，（2）针对代理不可用情况的动态重新分配评估，（3）协调传输中的代理间通信分析，以及（4）在物理机器人系统上的实际部署演示。每个实验都是在
讨论
本文提出了一个多机器人通信框架，该框架将基于LLM的代理与标准化资产元数据集成，以支持制造环境中的自适应任务协调。实验结果表明，该框架可以根据当前系统条件进行任务分配，根据操作变化动态重新分配任务，在代理之间传输与任务相关的数据，并在异构物理机器人上执行协调动作。
结论
本文提出了一种用于自主制造的通信框架，其中LLM代理通过基于AAS的元数据的自然语言消息来协调异构机器人资产。该框架集成了分布式代理，每个代理都在其对应的物理资产上独立运行，以及一个使用检索增强推理进行任务解释和分配的监督代理。这种设计实现了即插即用操作，
CRediT作者贡献声明
Shokhikha Amalana Murdivien：撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据整理、概念化。Jongsu Park：撰写——原始草稿、可视化、验证、软件、方法论。Jumyung Um：撰写——审阅与编辑、监督、资源管理、项目管理、资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本工作得到了信息与通信技术促进研究所（IITP）的资助（由韩国政府（MSIP）提供（项目编号：RS-2025-02219563，从数据集构建到生成式AI的逐步自主制造），以及信息与通信技术规划与评估研究所（IITP）的资助（由韩国政府（MSIT）提供（项目编号：RS-2024-00425383，京熙大学元宇宙融合研究生院）。
