《Frontiers in Neuroergonomics》:Error-related potentials detection to enhance human-robot collaboration: a mini review
编辑推荐:
错误相关电位(ErrPs)已被用于评估多种情境中的错误决策或错误动作。ErrP是一种由错误感知所诱发并在无意识状态下产生的头皮电位。在人机协作(HRC)中,ErrP检测可用于触发反馈或动作,以使系统适应用户。这有助于在考虑用户表现的基础上提升HRC性能。然而,
错误相关电位(ErrPs)已被用于评估多种情境中的错误决策或错误动作。ErrP是一种由错误感知所诱发并在无意识状态下产生的头皮电位。在人机协作(HRC)中,ErrP检测可用于触发反馈或动作,以使系统适应用户。这有助于在考虑用户表现的基础上提升HRC性能。然而,据研究人员所知,ErrP在HRC中的检测尚未被广泛探索,因此相关研究数量仍然较少。本系统综述将介绍与HRC中的自适应、控制及神经工效学相关的基于ErrP的接口研究。经过综述各阶段的排除标准筛选后,共纳入13篇文章。ErrP检测的平均准确率介于54%至87.2%之间。在大多数情况下,作者对机器人的意外行为发生进行了模拟。机器人错误在全部试验中的随机发生比例通常为20%至35%。部分研究聚焦于机器人学习过程以及人与机器人之间的自适应。协作交互过程中,心理模型以及机器人行为策略依据解码得到的ErrP进行更新。与控制相关的研究则将ErrP检测结果或其特征纳入控制回路或控制算法的输入。其他研究评估了心理负荷变异性在自适应过程中的影响,因为较高的心理负荷会影响错误感知所需的认知过程。因此,ErrP在增强HRC方面具有明显优势,而本综述也为机器人领域的进一步发展开辟了路径。
1 Introduction
本文围绕错误相关电位(ErrPs)在人机协作(HRC)中的应用展开综述。文章首先指出,人机交互(HRI)广泛存在于搜救、辅助机器人、军事、教育、家庭和工业等场景,而有效协作要求机器人能够对人的行为、认知与情绪进行适应,以优化团队协同。在HRC中,人与机器人共享任务目标及工作空间,既可通过物理接触交换力信息,也可通过手势、语音、凝视和面部表情等进行非接触式通信。作者强调,稳健的多模态通信是实现可靠、具韧性协作的关键基础。
在此背景下,文章提出错误检测对协作自适应具有重要价值。错误可来源于用户自身、交互系统、环境,或其他智能体;当个体感知到错误时,会在脑电图(EEG)中诱发错误相关电位(ErrPs)。ErrPs属于事件相关电位,可通过被动式脑机接口(BCI)进行解码。被动式BCI不依赖使用者主动控制脑活动,而是在人机交互过程中监测脑状态,因此使用者的参与度、错误产生与感知能力都会影响ErrP的出现。文章据此提出研究问题:不同HRC应用中使用何种错误类型、哪些HRC构型可通过ErrP型被动式BCI得到改进,以及利用ErrP增强HRC的主要方法有哪些。
2 Background
2.1 Error-related potentials
本节介绍ErrPs的神经生理学基础。文章指出,ErrPs在20世纪90年代初得到系统表征:在错误发生后约80 ms,额中央皮层出现负峰,即错误相关负波;随后在200–500 ms时间窗内,中央顶叶区域出现较大的正成分。除时域特征外,错误事件还伴随频域调制,例如θ波段(4–8 Hz)功率增加,继而β波段(12–30 Hz)功率降低。连通性分析还揭示前扣带皮层对前额叶皮层的影响。对于反馈提示引发的错误感知,则会出现反馈相关负波,通常出现在反馈呈现后200–300 ms。该部分为后文各类ErrP解码与应用研究提供了神经机制依据。
2.2 Human-robot collaboration
本节概述HRC的基本内涵与技术背景。文章认为,HRC中的人和机器人作为团队成员共同工作,既共享空间,也共享任务目标,并在并行任务中相互协调。协作可通过接触式方式实现,也可依赖手势、语音、运动意图、面部情绪与眼动等非接触通道。多模态通信可提高系统冗余性与抗噪能力,因此也成为机器人学习策略的重要数据基础。文中进一步归纳HRC中常见的机器学习方法,包括无监督学习、强化学习(RL)和监督学习,以及线性判别分析(LDA)、支持向量机(SVM)、卷积神经网络(CNNs)等经典与深度模型。
作者同时强调生理计算在HRC中的作用。机器人可通过EEG、心电图、眼电图(EOG)、肌电图(EMG)等多模态生理信号估计人的状态,从而支持控制、心理状态评估、压力检测和情绪识别。文章特别指出,心理负荷、压力与疲劳是HRC中值得重点考虑的心理状态,因为自动化、绩效监控、机器人邻近性及轨迹不可预测性等因素都可能增加心理负担并影响协作任务评价。
2.3 BCIs based on error-related potentials
本节综述了ErrP型脑机接口(BCI)的既有应用。文章指出,此类BCI最常见于拼写器系统,并可提升P300范式性能。除拼写外,ErrP检测还已用于光标控制、康复、人机交互(HRI)、HRC中的自适应、控制和神经工效学,以及ErrP解码研究。作者明确本综述聚焦HRC场景中的三类应用:自适应、控制与神经工效学,而不纳入单纯以ErrP解码模型构建为目的的机器学习研究。该界定有助于突出ErrP在真实协作流程中的功能价值,而非局限于离线分类性能。
3 Methods
文章采用PRISMA系统综述流程构建研究筛选方法。检索于2025年10月在Web of Science、IEEE Xplore、Scopus和Google Scholar四个数据库中进行,检索范围限于已发表文章。关键词分为三组:HRI/HRC相关术语、错误电位相关术语,以及自适应/协同适应/以人为中心人工智能(AI)/控制等HRC特征术语,并通过组间“AND”、组内“OR”的布尔逻辑组合进行搜索。初始检索获得39篇文献,结果部分又报告共找到40篇,最终在标题摘要筛选、全文资格评估后纳入13篇研究。纳入研究提取的参数主要包括:诱发ErrP的错误类型、HRC构型、基于ErrP的BCI指标以及协作任务指标。
4 Results
结果部分指出,最终纳入的13篇研究均发表于近9年,说明ErrP在HRC中的研究属于近年来逐步发展的新兴方向,但所有工作仍处于实验室环境。作者将这些研究划分为HRC中的自适应、HRC中的控制以及HRC中的神经工效学三大类。
4.1 Adaptation in HRC
在自适应类别中共纳入6篇文章。其一,在游戏情境中,机器人从三个物体中进行选择,人类根据机器人凝视模式进行猜测;一旦猜测错误,系统便利用解码得到的ErrP更新人与机器人的行为策略。该设计使正确猜测率在10–40次试验内由33%提升至70%–90%,ErrP平均检测准确率约为81.8%。这一结果说明,ErrP可作为隐式反馈信号驱动双向协同适应。
另一组研究关注机器人学习。人在交互过程中通过手势与机器人建立动作关联,ErrP被用作交互式强化学习(RL)中的奖励信号,使机器人在无预定义映射条件下学习“动作—手势”关系。扩展研究进一步考察了人在意图变化并新增手势时,机器人如何借助ErrP在线调整学习策略。当机器人执行的动作与手势不匹配时,诱发的ErrP用于更新机器人行为策略。文中报告,从人视角和机器人视角出发,ErrP检测准确率分别可达87.2%与86.9%,且机器人学习性能与ErrP检测性能高度相关,相关系数ρ介于0.869–0.965之间,显示出ErrP在在线协同学习中的关键作用。
在机器人监督场景中,ErrP也被用于多项选择任务中的纠错。自主机器人先为钻孔作业选择目标,人类监督者通过EEG与EMG组成的混合框架进行监控:ErrP触发纠错序列,随后连续识别左右手EMG手势以修正机器人的目标选择。尽管ErrP检测平均准确率约为54%,但结合EMG后正确目标率可达97.3%,表明多模态并行错误检测机制能够显著增强任务可靠性。另一项制造场景研究则探索了ErrP在潜在紧急事件识别中的可行性。研究通过在装配任务中模拟挤压、掉落和异常运动等错误来诱发ErrP,并确定250 ms为较优EEG处理时间窗。作者同时指出,受试者缺乏HRI经验,可能影响紧急错误情境下的神经反应生态效度。
4.2 Control in HRC
控制类别共纳入4篇研究。辅助移动机器人路径规划是其中的典型应用。人在回路(human-in-the-loop)框架下,用户为智能轮椅设定目标点,控制算法负责规划路径;当机器人接近障碍物并诱发ErrP时,系统重新计算路径。研究报告总体ErrP检测准确率为78.6%,说明ErrP能够作为导航传感之外的补充反馈通道。后续研究将该方法与稳态视觉诱发电位(SSVEP)方案比较,结果显示ErrP方法在任务完成效果上更优,而用户参与度更低,提示其在降低显性操作负担方面具有潜力。
在机器人学习控制方面,研究者将ErrP作为强化学习训练阶段的奖励更新输入,用于修正机器人沿单维网格到达屏幕目标的轨迹学习。研究设置了视觉与视-触觉两种反馈条件,ErrP平均检测准确率分别为60%和59%。尽管两种条件下强化学习均在约9次迭代后收敛,但视-触觉反馈所需迭代次数更少,说明多感官反馈可能改善基于ErrP的控制学习效率。
对于更复杂的控制问题,奇异位形规避策略也被纳入ErrP研究。相关工作发现,当机器人动力学策略缺乏可预测性时,会引发可检测ErrP;参与者更偏好响应更快、可预测性更强的策略,而这类策略对应更低的ErrP功率谱密度。该结果说明,ErrP不仅可作为错误检测指标,也可作为评估控制策略可解释性和可接受性的神经生理标记。
4.3 Neuro-ergonomics in HRC
神经工效学类别共包含2篇文章,重点关注心理状态对ErrP及协作表现的影响。第一项研究考察认知工作负荷。参与者一方面通过二维自由度机器人末端执行器完成主任务,另一方面执行不同难度的心算次任务;当机器人在33%的试次中发生意外停止时诱发ErrP。结果表明,高心理负荷会减弱ErrP振幅,意味着错误觉察能力下降。同时,意外停止后额叶θ波段功率升高,中央区α与β波段功率呈增加趋势,显示错误觉察与负荷调节之间存在显著脑电耦合关系。
第二项研究关注无聊感对协作的影响。在大型迷宫探索任务中,机器人虽可自主导航,但会在路口征询参与者方向意见,并在30%的试次中故意改变方向以诱发ErrP。结果显示,错误发生后θ波段功率增加、β波段功率降低;然而在任务后半程,部分参与者出现无聊状态,ErrP振幅及θ功率均下降。这说明,当用户参与度降低时,ErrP作为错误监测信号的可用性也会减弱,从而对基于ErrP的HRC系统鲁棒性提出要求。
5 Discussion
讨论部分围绕三个研究问题展开综合分析。首先,就错误类型而言,HRC研究中的ErrP多由机器人意外行为诱发,这些意外可源于错误信号处理、传感器工作空间限制或学习阶段中的自然失误。多数研究通过在20%–35%的试次中随机编程机器人犯错,以稳定诱发ErrP;少数研究则让错误在机器人学习或环境交互中自然出现。作者认为,尽管人工设计错误更易实施,但自然发生的错误更接近真实应用场景。
其次,在HRC构型方面,ErrP已被用于游戏、手势学习、机器人监督、装配、导航与复杂控制等任务,涉及人形机器人、机械臂和移动机器人,既包含接触式交互,也包含非接触式交互。多数研究聚焦于自适应型HRC场景,特别是基于ErrP更新机器人行为策略的系统,体现了ErrP在以人为中心人工智能(AI)中的应用潜力。
最后,就增强HRC的实现路径而言,文章认为较有前景的方向是探索、搜索及装配等更接近实际工业与服务环境的任务。这些任务更容易产生自然的异常机器人行为,因而适合部署基于ErrP的被动式BCI以支持机器人学习过程中的协同适应。此外,作者特别强调安全性与可部署性,指出未来应采用无线EEG系统,并保证设备固定稳定,以减少对工作空间及信号质量的干扰。整体而言,本文认为ErrP为HRC中的隐式错误检测、自适应调节和神经工效评估提供了重要神经信息通道,也为后续真实场景中的协作机器人研究奠定了方向。