《Frontiers in Robotics and AI》:ROS 4 healthcare: a framework for physiological human sensing for social, assistive, rehabilitation, and medical robotics
编辑推荐:
本文针对机器人操作系统(ROS2)缺乏标准化的人体生理和认知状态表征与通信机制,导致人机交互难以实现自适应、安全和个性化的关键问题,介绍了一个名为“ROS 4 Healthcare (ROS4HC)”的开源综合框架。该研究通过构建统一的消息类型、模块化传感器驱动、信号处理库和可视化工具,成功将多种生理、生物和物理信号标准化集成到机器人系统中。三个实证案例(心率自适应轮椅速度调制、融合生理反馈的自动跑步机系统、基于机器人摇床的夜间监护系统)验证了该框架在促进模块化组件复用、标准化通信和互操作性方面的有效性。这项工作为人机融合建立了标准化基础架构,其适用范围可扩展至工业安全、人机协作和性能监测等多个关键领域,对推动构建更安全、更具适应性和情境感知能力的机器人系统具有重要意义。
随着机器人技术日益融入日常生活,从扫地机器人、自动驾驶汽车到AI对话助手,我们期待这些系统能无处不在、更有用且更自主。在机器人开发领域,ROS2(Robot Operating System 2)通过将不同的硬件和软件抽象成一个统一框架,极大地加速了机器人解决方案的开发。然而,一个关键缺口依然存在:与人类紧密协作的机器人仍难以准确理解其操作者或最终用户。这种局限性阻碍了实现真正自适应、安全且个性化的人机交互。究其根源,当前广泛使用的ROS2缺乏用于表征和通信人体生理和认知状态的标准化机制,使得从医疗设备和可穿戴传感器中集成人体传感数据变得复杂且非标准化。
为了解决这一核心问题,并使机器人能够智能地响应人类的生理、生物和物理信号,一个名为“ROS 4 Healthcare (ROS4HC)”的开源综合框架被提出。这项研究旨在标准化人体传感数据的采集、表征和与机器人系统的集成。其研究成果以论文形式发表在《Frontiers in Robotics and AI》期刊上。
为开展此项研究,研究人员主要运用了以下几种关键技术方法:首先,基于ROS2(Humble Hawksbill版本)中间件,在Ubuntu 22.04系统上设计并实现了ROS4HC框架。其次,开发了针对特定医疗设备和可穿戴传感器(如用于心电/Polar H10心率传感器、Sensomative压力分布垫、Seeed Studio毫米波雷达传感器等)的定制化ROS2驱动程序,将这些设备产生的数据流转换为标准的ROS4HC消息类型进行发布。最后,利用Foxglove Studio构建了集成化的数据可视化仪表盘,用于实时监控和呈现多模态传感器数据及分析结果(如心率、呼吸频率、心电图、压力分布热图、日常活动分类等)。研究通过三个具体的机器人平台案例来验证框架的实用性。
研究结果:
1. ROS4HC框架和架构
ROS4HC框架由四个核心支柱构成:消息、驱动程序、库和工具。其中,消息作为基础通信单元,封装了从生理、物理、监测活动和硬件等类别获取的健康相关信号。驱动程序负责与特定医疗设备和可穿戴设备对接,将其数据流转换为标准化ROS4HC消息,并根据数据获取方式分为直接连接传感器和云连接传感器。库用于将原始人体传感数据转化为可操作的洞察和衍生指标。工具则提供了增强框架可用性的功能,如可视化工具。其架构设计遵循ROS2的分布式、抽象化、异步、模块化和分层数据管理原则,确保了与多种机器人平台和传感器类型的兼容性,并支持实时和长期数据处理。
2. ROS 4 healthcare: initial release
ROS4HC的初始版本支持了多种生物信号采集设备,包括Sensomative压力垫、Mbientlab MetaMotionS惯性测量单元、Corsano CardioWatch手环、Seeed Studio毫米波传感器、MAX30100血氧模块以及POLAR H10心率传感器等。框架还提供了用于数据分析、可视化的工具,例如一个基于多传感器数据(如腕部和耳部加速度计、压力垫、轮椅加速度计和陀螺仪)的日常活动分类器,以及一个集成在ROS4HC生态系统中的Foxglove Studio仪表盘,用于可视化生理传感器数据和ADL分类等次级信息。
3. Case studies
研究通过三个实证案例展示了ROS4HC框架的实际应用价值:
- •
心率自适应轮椅速度调制:在一辆配备压力传感坐垫和可穿戴心率传感器的电动轮椅上,系统通过压力分布估计用户的重心,并将其映射为平面速度命令以表达运动意图。同时,心率作为生理调节信号,当心率超过90 bpm时,轮椅的最大允许平移速度会线性降低,在心率达到125 bpm时降为零。实验结果表明,即使姿势意图未变,心率的增加也能有效降低轮椅前进速度,实现了生理反馈与自主控制意图的去耦合与有机结合。
- •
基于生物传感器实时反馈和社交接口的AI个人教练:该系统将自适应跑步机、用于监测心率和呼吸率的可穿戴设备以及用于交互的虚拟化身相结合。一个基于大型语言模型的对话代理每30秒评估用户当前心率是否处于预设目标范围,并生成自适应的自然语言反馈,通过虚拟化身鼓励用户调整步行速度。实验显示,参与者大部分时间能维持在目标心率范围内,证明了该方案在提升家庭锻炼参与度和动机方面的潜力。
- •
夜间监测与干预:利用Somnomat Care机器人床和毫米波传感器,系统持续监测用户的模拟睡眠状态下的心率、呼吸率和运动。当检测到模拟呼吸暂停后伴随的心动过速时,算法会触发更快的床体摇摆速度以鼓励用户调整姿势。如果用户活动持续过高,运动检测算法会停止摇摆并抬高背靠至45°,以协助用户恢复。这个案例展示了如何利用生理信号实现针对睡眠呼吸暂停的物理干预。
研究结论与讨论:
本研究引入的ROS4HC框架,通过提供统一的消息类型、设备驱动程序、处理库和可视化工具,解决了将人体生理、情感和物理信号集成到机器人系统中的复杂性和标准化缺失问题。该框架显著减少了开发时间,增强了系统互操作性,特别是对于那些原本缺乏原生ROS支持的医疗设备和可穿戴设备。
三个案例研究实证了该框架在实际场景中的应用潜力。心率控制轮椅展示了将实时生理数据整合到机器人控制回路中,以创建响应式、自适应接口的新方法。AI个人教练案例体现了如何利用生物传感数据和人工智能来创建个性化、安全的居家锻炼方案。夜间监测系统则凸显了实时生物信号跟踪对管理睡眠健康等慢性病的价值。这些案例共同表明,通过使机器人能够基于实时生理数据调整其行为,可以为医疗保健提供更个性化、响应更迅速的解决方案,同时也为提升各种机器人系统的安全性和适应性提供了范例。
更重要的是,ROS4HC框架的应用不仅限于医疗保健领域。其设计原则——模块性、抽象化和可扩展性——使其成为一个多功能工具,可广泛应用于需要复杂人体状态感知的任何场景,例如工业安全(通过监测工人疲劳或压力来调整协作机器人的行为)、人机协作以及性能监控等领域。因此,ROS4HC为人机融合建立了一个标准化的基础架构,对推动构建更安全、更具适应性和情境感知能力的机器人系统具有广泛而重要的意义。未来的工作将集中在扩展支持的传感器范围、集成更先进的人体状态估计算法,以及推动框架与移动健康和ISO/IEEE 11073等相关国际标准的兼容性上,以加速其作为可信赖的下一代医疗机器人平台被采纳。