基于跨模态信号中间融合的增强型压力检测

《Intelligence-Based Medicine》：Enhanced stress detection via intermediate fusion of intermodal signals

　　

数字时代与久坐生活方式的兴起导致压力相关健康问题不断增加，催生了对集成传感器的可穿戴压力监测系统的需求。本研究引入了一种基于WESAD（Wearable Stress and Affect Detection）数据集的多模态中间融合方法，该方法利用基于卷积神经网络（CNN）的框架整合由胸部和腕部可穿戴传感器捕获的生理数据。特征通过自注意力（self-attention）、交叉注意力（cross-attention）和压缩-激发（squeeze-and-excite）注意力机制的组合进行预处理，以建模模态内（intra-modality）和模态间（inter-modality）关系。随后，这些特征被整合为多模态表征用于压力分类。研究人员研究了不同注意力机制对模型性能的影响并进行了比较。最佳性能结果由交叉注意力后接自注意力的组合实现，在最优超参数下达到98.1%的最大准确率。为进一步评估最佳性能模型的泛化能力，研究人员开展了严格的留一被试交叉验证（Leave-One-Subject-Out, LOSO），在39个测试折上实现了83.56% ± 12.01%的总被试无关准确率，确认了模型对未见过被试的泛化能力。结果表明，来自不同传感器的集成特征表征优于单模态传感器。当前研究可扩展用于构建有效的压力管理系统，通过理解用户对压力源的生理反应来提供个性化的减压策略。

研究背景与问题提出

压力相关健康问题在当代社会中日益严峻，早期压力检测对医疗、职场健康和个人福祉具有重要意义。传统压力检测算法面临准确性和可靠性挑战，原因在于个体行为线索与情境敏感性差异、正负向压力因素混淆，以及长期基线变异性难以评估等问题。现有研究方法多依赖单一模态，难以全面捕捉压力反应的复杂性；即便采用多模态融合策略，早期融合（early fusion）与晚期融合（late fusion）也未能充分有效利用模态内时间依赖性与模态间关联信息。此外，尽管注意力机制（attention mechanism）在深度学习领域广泛应用，但既往压力检测研究尚未系统比较不同类型注意力机制、组合方式及其在神经网络中位置的差异。 wearable传感器虽已实现非侵入式实时监测，如何有效融合胸部RespiBAN与腕部Empatica E4两类设备的多源异构生理信号，仍是亟待解决的技术瓶颈。

研究设计与核心结论

研究人员提出了一种新型多模态中间融合深度学习方法，基于WESAD数据集（15名被试），整合来自RespiBAN（胸戴式，700 Hz）与Empatica E4（腕戴式，4–64 Hz）的多通道生理信号，涵盖心电图（ECG）、皮肤电活动（EDA）、肌电图（EMG）、呼吸（RESP）、体温（TEMP）、血容量脉冲（BVP）和三轴加速度（ACC）等。通过设计七种注意力机制变体（自注意力、压缩-激发注意力、交叉注意力及其两两组合），系统评估了不同配置对压力分类性能的影响。核心结论表明：交叉注意力后接自注意力的架构表现最优，达到98.1%的准确率；该组合首先建立模态间对齐关系，继而精炼融合表征的时间动态特性，有效抑制噪声并强化互补性压力指标的提取。LOSO验证获得83.56% ± 12.01%的被试无关准确率，证实了模型泛化能力。研究发表于《Intelligence-Based Medicine》，为多模态生理信号融合压力检测提供了经实证支持的优化配置方案。

关键技术方法

研究采用滑动窗口分割策略处理异构采样率，以 sensor 原生频率为准进行50%重叠分窗，将14路原始信号重组为四类生理模态分支（胸部复合模态、腕部EDA-TEMP、腕部BVP、腕部ACC），避免重采样导致的信息失真或伪影。模型架构为四分支并行一维卷积神经网络（1D-CNN），通过Conv1D层提取局部空间模式，MaxPooling1D层降维，BatchNorm与Dense层精炼高层表征；融合阶段嵌入自注意力（建模单模态长程时间依赖）、压缩-激发注意力（通道特征重标定）及交叉注意力（模态间信息交互）三种机制，按七种变体配置排列组合；训练采用Adam优化器、二元交叉熵损失函数，结合L₂正则化、Dropout、早停策略及动态学习率调度；针对类别不平衡实施SMOTE（Synthetic Minority Over-sampling Technique）过采样与类别权重调整；泛化验证采用LOSO交叉验证配合多随机种子（42, 7, 21, 99, 123）评估。

研究结果

【超参数与架构优化】通过系统调整学习率（1×10^?4至3×10^?4）、滑动窗口尺寸（BVP: 64/128样本、EDA-TEMP: 4样本、ACC: 32样本、胸部: 700样本）及批量大小（32/64/128），确定最优配置为学习率1×10^?4、窗口尺寸(700, 350)对应胸部、(64, 32)对应BVP、(32, 16)对应ACC、(4, 2)对应EDA-TEMP，批量大小128。该配置下交叉-自注意力模型达最优性能。

【SMOTE数据平衡影响】未使用SMOTE时模型呈现严重过拟合，验证损失剧烈波动，假阴性率高，精确率-召回率曲线失衡；应用SMOTE后验证精度与损失曲线趋于稳定，ROC与PR曲线显示两类预测更为均衡，有效缓解类别不平衡导致的偏置。

【注意力机制评估】七种变体比较结果显示：无注意力基线模型验证不稳定，假阴性率高；纯自注意力模型验证效率提升但存在假阳性偏置；纯压缩-激发注意力收敛中等但验证损失波动大；交叉-自注意力组合（最优模型）实现近乎完美的精度-损失稳定性，混淆矩阵假阴性最少，AUC达0.997；自注意力-交叉组合及SE-自注意力组合表现次之；交叉-SE组合虽训练准确但泛化困难，召回率严重缺失。

【单模态消融实验】胸部单模态准确率90.0%但假阳性显著；EDA+TEMP模态表现强劲（AUC=0.925），为最佳单一预测器；BVP单模态完全无法收敛（召回率0%），仅 majority-class 预测器；加速度计单模态AUC达0.962但高阈值下精确率-召回率骤降，单独依赖运动数据存在局限。

【数据泄漏控制与LOSO验证】针对前期实验潜在数据泄漏问题，采用严格LOSO策略确保训练-验证-测试集被试完全独立。15名被试在种子42下完成15折验证，另于测试准确率最高六名被试上补充种子7、21、99、123各6折，共39折。结果显示模型平均准确率0.8356 ± 0.1201，标准差较高反映生理应激反应的个体间变异性；种子123取得89.02% ± 4.08%的最佳表现，表明对高表现被试具有一致预测能力。配对t检验（t=?5.44, p=0.0056）证实所提架构显著优于基线模型。

讨论总结与研究结论

最佳模型"交叉-自注意力"的优越性源于其符合认知逻辑的两阶段设计：交叉注意力首先解答"模态间如何关联"，建立胸-腕信号的跨模态对齐；自注意力继而解答"融合表征中何为关键"，精炼时间动态特征。此顺序优于反向组合或单一机制，因先模态间对齐可为后续时间精炼提供更语义连贯的输入基座。

研究局限性包括：WESAD数据集仅15名被试且为实验室环境，样本有限性与同质性限制外推性；计算资源约束制约超参数搜索完备性；部分模型验证精度存在训练不稳定性，提示对初始化敏感。未来可通过梯度裁剪、预热学习率及集成学习缓解；以生成对抗网络（GAN）替代SMOTE实现更符合生理信号复杂非线性特征的样本扩充；扩展至面部表情、语音语调、社交媒体文本、睡眠运动及心理健康数据等多源信息；由二分类拓展至多等级（高/中/低）及多类型（时间压力/绩效压力/正向-负向压力）分类；纳入用户个性特征与反馈实现个体化模型定制。

结论部分原文翻译："本研究探讨了通过整合胸戴式与腕戴式传感器数据以增强压力检测的潜力。为此，引入了一种新型中间融合方法，该方法同时考虑来自WESAD数据集中RespiBAN和EMPATICA E4传感器的单独传感器读数及其融合表征。通过滑动窗口方法的有效预处理，所提出的中间融合有效整合了不同采样率采集的数据。与既往仅对单一位置独立设备进行建模融合的研究不同，本研究确保了来自胸、腕不同传感器及不同模态数据的融合。为正式证明所提出融合架构的有效性，对包括自注意力、交叉注意力和压缩-激发模块在内的多种注意力机制进行了全面比较研究。尽管自注意力机制主要改善了模态内时间关系，SE模块专注于通道特征重标定，但二者在理解不同传感器模态间复杂关系方面效果有限。实验研究明确表明，所提出的交叉-自注意力策略优于基线和中间方法。通过使用交叉注意力建模胸-腕信号间的模态间对齐，继而使用自注意力精炼融合特征的时间动态，模型能够有效抑制噪声并强调从多模态输入中提取互补性压力指标。"