《Sensors》：Design and Validation of a Cyber–Physical Medication Dispensing Platform Integrating Edge AI Verification, Distributed Control, and Cloud Synchronization
编辑推荐：
摘要：用药差错(Medication dispensing errors)仍是医疗系统中的重要安全隐患，尤其在老年护理与长期用药管理中，错误发药可能危及患者安全与治疗结局。本研究提出并实验验证了一种融合机器人操作、基于边缘人工智能(Edge AI)的视觉验证、
摘要：用药差错(Medication dispensing errors)仍是医疗系统中的重要安全隐患，尤其在老年护理与长期用药管理中，错误发药可能危及患者安全与治疗结局。本研究提出并实验验证了一种融合机器人操作、基于边缘人工智能(Edge AI)的视觉验证、分布式运动控制与云端同步的信息物理(cyber–physical)出药平台。该平台由旋转储药机构、真空吸盘式药片搬运装置、基于Klipper框架的控制系统，以及部署于Hailo AI加速器上运行YOLOv8(YOLOv8, You Only Look Once version 8)的感知子系统组成，可实现实时边缘推理。实验在受控实验室条件下进行，使用环境特异性验证数据集，感知子系统达到精确率(Precision)0.627、召回率(Recall)0.739及mAP@0.5为0.786。研究人员进一步评估了自适应验证策略以提升不同药片占用条件下的出药验证能力。端到端系统测试含80次出药试验，整体出药成功率为86.25%，未观察到错误出药事件。结果表明，在信息物理出药平台中集成边缘AI验证、分布式控制与云端连接具备可行性，所提出系统为后续感知辅助出药、长期部署及智慧医疗环境中的临床验证研究奠定了基础。
论文解读：融合边缘AI验证、分布式控制与云端同步的Cyber–Physical Medication Dispensing平台的研究与设计验证
用药管理尤其是老年护理环境中的药物治疗，因慢性病高发、多重用药(polypharmacy)及处方频繁变更而面临高风险的挑战。传统人工摆药、核核对流程步骤繁多且依赖人力，易引入不一致性与误判，机构中照护人员负担重进一步放大风险。现有自动发药系统多局限于提醒或按时间表驱动出药，缺乏对物理执行结果的实时验证，亦少有将数字处方数据与物理出药动作通过感知—控制闭环关联的统一架构。与此同时，信息物理系统(CPS, Cyber–Physical System)、边缘计算及开源硬件运动控制平台的发展，使得在医疗自动化中集成实时感知、分布式控制与云端协同成为可能，但上述各模块常被孤立研究，缺乏系统性整合与实验验证。为此，研究人员设计并搭建了一种集成机器人操作、边缘视觉验证、Klipper(Klipper, 3D打印机固件衍生之分布式运动控制框架)分布式控制及Supabase云端同步的四层CPS出药平台（命名为PILLo），并通过受控实验对其感知性能、空间定位精度及端到端出药可靠性进行了定量评估。该论文发表于《Sensors》期刊。
研究人员采用的主要关键技术方法包括：机械系统采用旋转分度存储组件(Rotary Indexing Storage Assembly)配合线性定位台(Linear Positioning Stage)构成二自由度寻址机制，药片抓取采用真空吸盘末端执行器(Vacuum-based end effector)并由气动模块供压；控制系统以Raspberry Pi 5为上位边缘节点运行Klipper主机软件负责任务规划与G?code生成，STM32F446RCT6微控制器跑Klipper固件执行步进电机脉冲生成等确定性动作，二者通过USB/CAN通信，上位机经由Moonraker API下发指令；视觉验证子系统采用YOLOv8目标检测模型，量化训练与部署于Hailo AI Accelerator(Hailo AI加速器)进行低延迟边缘推理，相机经平面几何变换完成图像至工作空间坐标标定；云端层选用Supabase(PostgreSQL + pgvector + Realtime)作为唯一同步中枢，通过事件驱动管道协调Web端(kiosk mode, Next.js)与移动端(Expo·React Native)界面，硬件抽象为RESTful接口；YOLOv8先在公开Pills Detection Dataset预训练，再使用自制出药托盘数据集（90张图像，1–9粒药片，按7:2:1划分训练/验证/测试集）微调，采用默认Ultralytics增强管线（缩放、平移、翻转、亮度与色彩空间变化及马赛克增强）；出药试验在受控实验室开展，80次出药涵盖四种药片形态（椭圆、圆形、小圆、胶囊），每仓10次，记录成功率、失败模式、周期时间及视觉验证反馈；空间定位精度通过24个检测实例与参考点像素偏差评估；语音助手作为辅助功能以预设可靠性门控与延迟百分位数评估。
System Architecture（系统架构）
研究人员将系统划分为硬件层、边缘计算层、云端协调层与用户交互层。硬件层执行物理动作与传感；边缘层（Raspberry Pi 5 + Hailo AI加速器）负责实时感知推理与任务规划；云端层通过Supabase维护全局状态、处方记录与操作日志并提供事件驱动同步；用户层含Web触控界面与移动App。高层决策与时效敏感执行解耦，确保关键动作本地确定执行同时支持IoT扩展。数据流为事件驱动双向闭环：用户请求→云→边→硬件执行→视觉验证→结果回传云端并同步界面。
Mechanical System Design（机械系统设计）
旋转分度台设8个径向储药仓（45°间隔），采用相对定位取最短角路径减少回零运动；线性定位台提供平移自由度与真空末端执行器配合完成拾取—转移—释放。相机经托盘参考点做平面几何变换完成像素至物理坐标映射，平均定位误差8.3像素。结构强调重复性与模块化，真空吸力固定未按药片形态调节。
Control Framework（控制框架）
采用Klipper主从分布式架构，上位解析G?code并规划轨迹，MCU执行步进脉冲与气动时序。出药动作封装为宏(Macro)原子操作：旋转分度→线性对齐→下降吸气拾取→移至出料口释气放药。视觉感知不作为连续运动控制信号，而在动作后做后验验证(post?action verification)，若检测到异常可触发重取或通知。Web/Mobile端通过Moonraker API与系统交互，Supabase Realtime订阅保证多端状态一致。安全机制含限位开关归零、急停及原子宏防部分执行。
Vision-Based Verification（基于视觉的验证）
固定俯视相机采集出药区图像，预处理后送YOLOv8?Hailo推理。置信度阈值设定为＞0.8，低于阈值重采集；帧内有效检测数还与期望值比对以识别多药或漏药。验证表明该层可无假阴性漏报错误出药，所有失败均被正确标记。局限含高密度遮挡下漏检、固定视角与静态阈值权衡。
IoT Synchronization and Data Consistency（物联网同步与数据一致性）
所有组件仅通过Supabase中央数据库交互，避免端到端直连，保障单一事实源、审计可追溯及断网命令缓存。云函数将出药请求翻译为G?code经Moonraker API下达硬件，执行结果写回库并广播。移动端集成药品标签OCR解析与基于检索增强生成(RAG, Retrieval?Augmented Generation)的语音问询，通知子系统去重推送预警。
Experimental Evaluation（实验评估）
Initial Vision-Based Detection Evaluation：初测8仓44粒药片三回合平均检出率约34.1%，密集重叠仓出现零检出，判定主因为环境几何遮挡而非模型本身缺陷。
Custom Pill Detection Dataset：采集同平台托盘数据集90张（1–9粒，每数量10张），单类别"pill"，手动标注YOLO格式，7:2:1划分。
Evaluation of the Retrained YOLOv8 Model：重训模型在验证集上Precision=0.627，Recall=0.739，mAP@0.5=0.786；按占用等级分组（1/2/3粒/Mid Volume 4–6粒/Full Volume 7–9粒）总体分类准确率83.3%，低密度完美分类，高密度因重叠邻近等级混淆。
Spatial Localization Accuracy：24个检测实例像素偏差范围6.4–10.6像素，均值8.3像素，无显著离群值，满足线性台对齐需求。
End-to-End Dispensing Performance：80次试验成功69次，整体出药成功率86.25%；11次失败均为真空吸盘外周接触致密封不良致漏拾(missed pickup)，无任何错误出药(incorrect dispensing)，且所有失败被视觉后验正确识别。胶囊与部分椭圆药片达100%成功，圆形药片70%–80%，差异归因于接触面积与固定真空压力。平均出药周期4.28 s，其中线性下降占2.09 s（48.9%）、旋转分度1.14 s（26.6%），气动与感知合计1.05 s（24.5%），瓶颈在机械定位非感知延迟。
Supplementary Voice Interface Evaluation：62条英泰双语查询各测三次，中位延迟2.81 s（p95=4.20 s＜5 s SLO），检索召回100%，事实必含准确率96.7%，拒答正确率83.3%，意图分类94.7%（未达95%门限），其余门限全过。
User Evaluation and Usability Study：15名受试者（护士3人、照护者6人、其他6人）操作测评，单任务易用性SEQ均值4.21/5；系统可用性量表SUS均值71.31（SD=13.91），评级"可接受"。定性访谈肯定LINE通知与触屏清晰度，指出初始触屏需熟悉及储药仓容量扩充需求。
讨论(DISCUSSION)小结与结论(CONCLUSIONS)翻译浓缩
讨论指出机械与Klipper控制具高重复性，变异性低；视觉检测为主要性能限制因素，初始仓内评估低召回反映严重遮挡下压力测试而非常态工况，环境特定托盘数据集微调后mAP@0.5达0.786证明模型能力，体积分级验证可提供近似计数替代方案；空间定位误差稳定且较小说明几何信息可靠，瓶颈在检测阶段而非定位算法；当前为开环运动+后验验证架构简化控制，未来可发展全闭环感知引导；环境光照固定为受控条件，实际部署需更鲁棒预处理或融合传感。全部11次失败源于固定压力真空拾取对圆形药片接触敏感性，无错误出药且验证层全覆盖失败检测，75.5%周期耗于机械定位。云端同步与边缘计算分离保障断网时核心功能可用，提供审计追溯与多端一致，符合医疗问责要求。
结论：研究人员提出并验证了集成分布式控制、边缘AI(Edge AI)、确定性机器人操作与云端同步的可靠性感知信息物理(Cyber–Physical)出药系统。感知子系统于环境特定托盘数据集达Precision 0.627、Recall 0.739、mAP@0.5 0.786；基于体积分组的验证策略整体分类准确率83.3%。80次端到端出药试验整体成功率86.25%，无错误出药事件，所有失败均被视觉验证正确识别。结果表明边缘AI、分布式控制与感知验证在CPS框架内协同运作之价值，当前原型受限于固定真空拾取可靠性及严重遮挡视觉条件，所提架构为注重安全性、可追溯性与操作透明度的智能出药系统提供可行基础。未来工作将聚焦于自适应恢复、形态自适应操控、增强遮挡环境感知模型及闭环验证驱动控制，以提升临床适用性。
