《Advanced Intelligent Systems》：Optical Flow Enables Hand Tracking With EyeGlove Low-Cost Cameras in Confined Environments
编辑推荐：
为了缓解与受限环境内探索和检查相关的挑战，研究人员提出了一种低成本（低于150英镑）的手戴式系统，即EyeGlove系统，通过利用人手的固有灵巧性作为操作器，帮助操作员在受限环境中使用相机执行检查时追踪其手部运动。EyeGlove系统集成了两个低成本相机和两套
为了缓解与受限环境内探索和检查相关的挑战，研究人员提出了一种低成本（低于150英镑）的手戴式系统，即EyeGlove系统，通过利用人手的固有灵巧性作为操作器，帮助操作员在受限环境中使用相机执行检查时追踪其手部运动。EyeGlove系统集成了两个低成本相机和两套接触垫（配合磁铁工作），从而创建了一个具有分离式相机配置的立体相机系统。佩戴EyeGlove系统时，操作员利用其手部的操作能力来摆放相机，实现受限空间内的实时原位视觉检查。虽然测量功能的构建已有报道，研究人员现在正通过启用手部追踪以进行原位维护和服务来增强该设施。这提供了一个涵盖检查、测量和追踪能力的综合解决方案，使EyeGlove系统区别于其他系统。基于EyeGlove系统的独特设计（具有分离式相机配置），本文提出了一种针对低成本EyeGlove相机量身定制的新型手部追踪方法，基于稀疏光流技术，即Lucas–Kanade方法。所提出的追踪方法利用基于光流的关键点/特征匹配技术，在立体匹配和帧匹配中均采用，以实现稳健的手部运动追踪，该方法特别针对EyeGlove系统的低成本相机进行了定制。最后，研究人员开展了验证实验，展示了EyeGlove系统在受限环境中不同光照条件下的追踪性能。
**论文解读：基于光流法的EyeGlove低成本相机手部追踪系统在受限环境中的应用**
**研究背景、问题与意义**
在工业维护中，定期检查（如原位检查和维修）需要进入包含关键安全组件（如涡轮发动机、管道）的受限空间。然而，这些空间由于结构复杂、视线受阻，使得原位检查极为困难。传统工具如内窥镜（borescope）的长被动段在复杂组件中难以高效导航；而机器人（如连续体机器人、无人机、软体机器人）虽被开发用于受限环境，但尺寸大、结构复杂和控制器繁琐限制了其灵活性与机动性。
人手的灵活性和灵巧性可在受限环境中操作多台相机进行探索。为此，已有研究提出了基于视觉的手戴式系统（Ref. [8]），利用三台微型相机构成可分离立体视觉系统，测量目标尺寸。但该系统仅依赖人体感官系统（视觉、前庭和体感觉）定位目标，在视线受阻环境中难以实现精确位置识别。因此，集成手部追踪功能对于实现综合检查（包括位置信息）至关重要。现有技术如惯性测量单元（Inertial Measurement Unit, IMU）、LiDAR和全球定位系统（Global Positioning System, GPS）存在漂移误差、尺寸过大或室内不适用等问题。基于视觉的追踪方法（包括标记式和非标记式）中，非标记式方法因无需预布置标记而更受关注，但高端工业视觉系统体积大、成本高，难以集成到可穿戴平台。因此，研究人员提出了一种低成本（低于150英镑）的手戴式EyeGlove系统，利用稀疏光流技术实现手部运动追踪，以满足受限环境下的综合检查需求。该论文发表在《Advanced Intelligent Systems》。
**主要关键技术方法**
本研究的主要技术方法包括：1）通过将两台Raspberry Pi相机分别安装在食指和无名指上，形成可分离立体视觉（disjointed stereo vision）系统，利用磁铁接触垫实现基线（baseline, 即两相机相对位姿）的快速确定与切换；2）采用基于Lucas–Kanade（LK）稀疏光流的特征匹配方法，分别进行立体匹配（stereo match）和帧匹配（frame match）；3）在立体匹配中结合极线几何（epipolar geometry）和深度四分位数策略（depth quartile strategy）剔除离群点；4）在帧匹配中利用正向和反向光流结合重投影误差优化，解决特征对应问题；5）通过求解透视n点（Perspective-n-Point, PnP）问题估计相机相对位姿，从而获得手部运动轨迹。所采用的相机模组为低成本Raspberry Pi相机，样机为3D打印的手指套（finger-cot）和腕部控制器，无特定样本队列。
**研究结果**
**2 手戴式系统设计**
通过硬件设计实现了可分离相机配置：Cam L（左相机）位于食指套，Cam R（右相机）位于无名指套，中间指套作为连接桥。两对磁铁接触垫在分离时允许灵活手指运动进行检测，耦合时（基线46 mm）则用于手部追踪。集成LED灯和无线局域网（WLAN）实现灵活性，可穿戴显示单元使操作员直接观察结果。
**3 手部追踪模型**
提出了基于光流的追踪算法流程图：从参考位置的左帧提取ORB特征，通过LK光流进行立体匹配估计特征深度，再通过帧匹配（当前左帧与参考左帧）结合深度信息，利用PnP求解相对位姿。立体匹配中采用极线几何约束（公式3）和四分位数范围（IQR）剔除离群点（图4）。帧匹配中采用正向/反向光流滤波器，保证匹配一致性（图5）。
**4 验证实验**
在实验室环境和现场环境（如模拟受限空间）中，在不同光照条件下进行实验，结果表明EyeGlove系统能实现实时手部追踪，验证了算法的鲁棒性和稳定性。
**总结讨论与结论**
**总结讨论**
论文讨论了低成本相机带来的图像质量差异和相机间一致性较差的问题，但通过融合特征间接法和基于光流的直接法克服了这些挑战。与高端工业系统相比，EyeGlove系统虽牺牲部分图像质量，但凭借紧凑尺寸和低成本实现了在受限环境中的有效手部追踪。实验验证了在不同光照条件下的追踪性能，表明该方法适用于实际工业场景。
**研究结论**
本文提出了一种低成本、灵活的手戴式EyeGlove系统，结合稀疏光流法，成功实现了受限环境中的手部运动追踪。该系统通过分离相机配置和磁铁接触垫实现了检测与追踪功能的切换，为受限空间的原位检查、测量和追踪提供了综合方案。实验证明，该方法在多种光照条件下均具有稳健的追踪性能，有望推广到工业维护和非工业市场。
