跨模态潜在对齐技术能够高效压缩可穿戴式表面肌电图（sEMG）和加速度计信号

《Scientific Reports》：Cross-modal latent alignment enables efficient compression of wearable sEMG and accelerometer signals

　　

摘要

对于带宽受限的可穿戴设备而言，高效压缩多模态生物信号至关重要。现有方法分别独立压缩表面肌电图（sEMG）和加速度计信号，忽略了肌肉激活与肢体运动之间的内在耦合关系。我们提出了一种跨模态对齐框架，在训练过程中通过帧级对应关系和时间动态一致性来显式地对齐这些模态的潜在表示。在两个Ninapro数据集上的实验表明，与现有技术相比，该框架在压缩比从20%到90%的范围内均取得了显著改进，相关系数提高了多达28%，并且信噪比（SNR）比深度学习基线方法高出1–3分贝。下游的手势分类实验进一步证实，我们的方法保留了与任务相关的特征，在压缩比为40%时准确率仍超过80%，而基线方法则需要压缩比≥50%才能达到类似的性能。推理时的潜在分析显示，对齐训练将跨模态漂移减少了59–64%，这验证了对齐模块移除后所学的一致性仍然存在。值得注意的是，我们的对齐模块仅在训练期间起作用，在推理过程中完全被移除，从而确保部署的编码器-解码器系统与标准的单模态自编码器相比不会产生额外的计算开销。对五种主流架构的研究证实，所提出的对齐框架具有通用性，适用于各种架构。在代表性嵌入式平台上的测试验证了其在实时可穿戴设备中的可行性。