基于自监督学习与双传感器拇指套的少样本手势交互系统实现多任务自由切换

《SCIENCE ADVANCES》:Wearable thumb sleeves enabled by self-supervised learning with few stretchable sensors and few-shot data for switchable finger tasks

【字体: 时间:2026年04月24日 来源:SCIENCE ADVANCES 12.5

编辑推荐:

  为解决人机交互中设备笨重、数据标注依赖强及模型泛化差等问题,研究人员开发了一种集成自监督学习(TICL算法)的拇指套系统。仅需5次标注数据即可实现多用户、多任务(如8向指令、10键输入)的快速适配,准确率超94%,为可穿戴HMI提供了高效解决方案。

  
在科幻电影里,动动手指就能操控无人机的场景令人神往,但现实中的人机交互(HMI)设备却往往让人“束手束脚”。传统数据手套通常需要在每根手指上布满传感器,不仅穿戴笨重,收集数据时还得像教婴儿说话一样,对每一个动作进行海量标注。更麻烦的是,换个人或者换个任务(比如从打字切换到控制方向),整个模型就得推倒重来,这让“自然交互”变得极不自然。
为了解决这些痛点,一项发表在《Science Advances》上的研究带来了一个轻量级且“聪明”的解决方案——基于自监督学习的拇指套交互系统。该研究摒弃了全手监测的复杂思路,巧妙地将目光聚焦于人体最灵活的“拇指”,仅用两个高灵敏度的拉伸传感器,结合创新的时间序列信息对比学习(TICL)算法,构建了一个通用的手势识别平台。这套系统最大的魅力在于其“举一反三”的能力:它先通过无意义的随机乱动进行“预习”(自监督预训练),建立运动特征空间,之后对于新的指令或新的用户,仅需5个标注样本(Five-shot)就能快速适应,准确率高达94%以上,且能在不同任务间自由切换,无需重新训练。

关键技术方法

为实现上述目标,研究团队主要依托三项核心技术:① 高灵敏拇指套硬件设计:采用离子水凝胶电极与银纳米线/硅橡胶(AgNWs/Ecoflex)复合介电层,设计分层三棱柱微结构,在宽压力范围(0–35 kPa)和高拉伸应变(775%)下保持稳定信号;② 时间序列信息对比学习(TICL)算法:利用未标注的随机拇指运动数据,通过数据增强构建正负样本对,训练编码器构建时序运动潜空间(TMLS),实现特征解耦;③ 少样本迁移学习机制:在预训练好的TMLS基础上,利用极少量(如5个)标注样本进行微调,实现对新用户和新任务(如方向识别、指节按键)的快速适配。

研究结果

高灵敏拉伸传感器的性能表现

传感器的力学性能是其舒适度和可靠性的基础。研究显示,该水凝胶电极的断裂伸长率高达775%,远高于皮肤形变需求,确保了在复杂拇指运动下的贴合性。在传感机制上,通过分层三棱柱微结构的变形改变接触面积,实现了高灵敏度(0.98 kPa?1@ <5 kPa)和低检测限(3 Pa)。经过10,000次加载-卸载循环测试,电容变化可忽略不计,证明了其长期使用的耐用性。

构建多场景识别与快速用户适应模型

针对传统模型“一任务一模型”的局限,研究团队提出了TICL算法框架。该模型通过自监督学习从无标注数据中学习通用的拇指运动表征(TMLS),解决了数据稀缺和用户差异问题。在推理阶段,系统通过计算实时信号与TMLS中少量标注样本的余弦相似度进行分类。更重要的是,通过切换模型参数(θ, φ),系统可在不同任务场景(如控制与输入)间无缝切换,无需重新训练或重建模型架构

拇指方向识别与无人机控制应用

在实际功能验证中,仅使用两个传感器(S1, S2)即可精准捕捉拇指的八方向运动(包括单次与双击动作)。经过TICL预训练和5样本微调后,模型在八方向识别任务上的平均准确率达到94.2%。t-SNE可视化显示,不同手势在潜空间中形成了清晰分离的簇群。研究还进一步在Unity 3D环境中实现了无人机控制演示,将拇指手势映射为起飞、前进、转向等指令,验证了其在实时交互中的流畅性。

拇指-手指交互识别:指节按键输入

除了空间控制,该系统还拓展到了字符输入场景。通过拇指与其他手指指节的触碰(Knuckle Key Input),实现了10个按键的识别。模型同样利用TMLS进行少样本迁移,准确率超过94%。这一功能展示了该系统作为鼠标和键盘替代品的潜力,例如在VR环境或移动场景中进行文本输入。

结论与意义

这项研究成功地将自监督学习极简可穿戴硬件相结合,打破了人机交互中“高精度必伴随高复杂度”的魔咒。它证明了通过捕捉关键生物力学信息(拇指关节)和利用智能算法(TICL),可以极大地降低对硬件数量(仅2个传感器)和标注数据量(Few-shot)的依赖。这种“小设备、大智慧”的设计理念,为下一代轻量化、用户无关(User-independent)的可穿戴交互设备奠定了技术基础,有望在智能家居、远程医疗、虚拟现实及无障碍交互等领域发挥重要作用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号