《Big Data and Cognitive Computing》：Stress Detection from Multimodal Physiological Data Using Hybrid Deep Learning Models
编辑推荐：
慢性压力和抑郁相近情绪状态影响着全球超过9.7亿人，然而，从生理信号中对其进行连续、客观的检测仍然未能解决，特别是在线索细微且传统方法失效的情况下。单模态分类器仅能捕捉部分信息，二分类效价/唤醒公式将情绪上不同的状态合并到同一类别中，使得以低效价低唤醒（Low
慢性压力和抑郁相近情绪状态影响着全球超过9.7亿人，然而，从生理信号中对其进行连续、客观的检测仍然未能解决，特别是在线索细微且传统方法失效的情况下。单模态分类器仅能捕捉部分信息，二分类效价/唤醒公式将情绪上不同的状态合并到同一类别中，使得以低效价低唤醒（Low-Valence Low-Arousal，LVLA）反应为特征的悲伤和抑郁状态缺乏可靠检测。研究人员开发了一种结合卷积神经网络（Convolutional Neural Networks，CNNs）、长短期记忆网络（Long Short-Term Memory，LSTM）和Transformer编码器的混合深度学习模型，用于从DEAP（Database for Emotion Analysis using Physiological signals）数据集中的多模态生理数据联合分类四个情绪象限。来自32名参与者的脑电图（Electroencephalography，EEG）、皮肤电反应（Galvanic Skin Response，GSR）、血容量脉搏（Blood Volume Pulse，BVP）和呼吸信号经过四阶巴特沃斯滤波预处理，使用Adam优化进行训练，并通过80/20分层划分和五折交叉验证进行评估。该系统实现了91.2%的四象限效价-唤醒准确率（95%置信区间：89.1–93.3%），LVLA召回率达到91.3%，优于所有部分混合变体。这些发现表明，基于层次化、注意力机制的生理模态融合可以可靠地区分压力与抑郁相近状态，为在可穿戴平台上实现连续、非侵入式心理健康监测提供了实用途径。
压力是全球心理健康的主要负担，影响超过9.7亿人，其中压力与抑郁等情绪状态在Russell的环形情绪模型中分别对应低效价高唤醒（Low-Valence High-Arousal，LVHA）和低效价低唤醒（Low-Valence Low-Arousal，LVLA）象限，两者症状重叠但治疗需求不同。现有单模态分类器仅能捕捉约76%的情绪，二分类效价/唤醒公式将情绪上不同的状态（如兴奋与压力）混为一谈，且LVLA状态（与悲伤、抑郁相关）因生理信号微妙、延迟而难以检测。为此，研究人员开发了混合卷积神经网络（CNN）–长短期记忆网络（LSTM）–Transformer架构，旨在通过层次化、跨模态融合实现四象限效价-唤醒情绪分类，并特别提升LVLA状态的识别可靠性。研究利用DEAP数据集（32名健康成人，男女各半，平均年龄26.9岁，每人观看40段一分钟音乐视频，记录EEG、GSR、BVP、呼吸等信号），通过统计分析验证特征区分性，通过消融研究量化各组件贡献，通过跨数据集（DREAMER）验证泛化能力，并与2023–2025年最新方法对比。结论是：该混合模型实现91.2%四象限准确率（95% CI: 89.1–93.3%），LVLA召回率达91.3%，优于所有部分混合变体（准确率提升4.75–11.25%），表明层次化注意力融合可有效区分压力与抑郁相近状态，为可穿戴平台连续心理健康监测提供了可行路径。论文发表在《Big Data and Cognitive Computing》。
研究人员开展研究用到的主要关键技术方法包括：信号预处理采用四阶巴特沃斯零相位滤波、阈值伪影检测、共平均参考（Common Average Referencing，CAR），以及GSR的tonic/phasic分解（使用cvxEDA凸优化）。特征提取从EEG（频带功率、统计描述符）、GSR（tonic水平、phasic成分、SCR计数）、BVP（心率变异性）、呼吸（速率、深度）等提取1307个特征，通过ANOVA F检验筛选前150个最具判别力的特征。模型架构为混合CNN（1D卷积提取空间模式）–双向LSTM（捕获正向/反向时间依赖性）–Transformer编码器（多头自注意力捕获跨模态全局依赖），输入为150维特征向量（经正弦位置编码后形成15步伪时序序列）。训练采用Adam优化、早停（patience=15轮）、L2正则化（λ=0.01）、Dropout（p=0.5）和Focal Loss（γ=2），通过80/20分层划分和五折交叉验证评估准确率、F1-score和召回率。样本队列来源为DEAP数据集（32名参与者）。
研究结果：
- 4.1 情绪状态的动态生理特征：通过分析EEG α功率波动、GSR tonic位与SCR计数的正相关、呼吸模式随唤醒度的变化、皮肤温度与效价的微弱正相关，以及跨模态热图中BVP-呼吸、EEG-EMG的动态耦合与解耦，证实不同情绪象限存在明显生理特征差异，支持多模态融合的必要性。
- 4.2 特征级分析与真实标签分布：通过绘制效价-唤醒空间分布，发现40个试次均匀分布于四象限但中心重叠，强调细微情绪区分的难度；通过直方图分析，EEG α功率和GSR tonic位在低唤醒与高唤醒状态间分布差异显著；通过跨模态特征重要性排序，EEG-EMG交互（0.119）和BVP-呼吸比率（0.103）是最重要的跨模态预测因子。
- 4.3 数据质量与信号一致性分析：EEG功率数据无极端离群值；GSR试次中两个存在高tonic/SCR异常；GSR活动与自评唤醒度显著正相关，确认生理信号质量可靠。
- 4.4 特征间与特征-标签相关性分析：Pearson相关矩阵显示，EEG-EMG交互与EEG-EOG交互正相关，BVP-呼吸比率与自身强相关；特定跨模态特征与喜好评分呈中等负相关（如EEG-EMG交互r=-0.3），暗示脑-肌耦合增强会降低主观偏好。
- 4.5 使用PCA的降维与特征分析：PC1和PC2分别编码效价和唤醒维度，尽管类间存在线性不可分重叠，但PCA方向解释情绪结构；需38个主成分解释95%方差，表明情绪信息分散于多模态特征中；PC2的载荷主要来自GSR（rms、phasic）和额叶EEG功率（Fp2 θ），PC3/PC4涉及EEG、GSR、EMG交互。
- 4.6 模态贡献与协同分析：54.9%的特征贡献微小，自主神经特征（4.8%）、GSR与温度（3.6%）、额叶EEG通道（Fz 3.2%、AF4 2.8%）贡献较大；协同矩阵显示自主神经与GSR高度协同（r=0.45），自主神经/AF4与BVP中等协同（r=0.30），确认跨模态信息互补。
- 4.7 特征分析发现总结：五个关键发现（生理特征具有类特异性、跨模态信息互补、特征空间低维但分布广、模态间协作为必要、非线性建模需求）直接支撑了混合CNN-LSTM-Transformer架构的设计。
- 5.1 混合模型训练分析：验证准确率在前5轮快速升至85%以上，随后稳定在88–90%；验证损失在epoch 25达到最小值0.502，早停在epoch 40触发并恢复epoch 25权重；验证F1-score持续约0.88，表明快速且稳定的学习行为。
- 5.2 比较模型性能分析：全混合模型约544k参数，训练每轮5.9分钟，推理速度790样本/秒；在准确率-复杂度权衡图中，全混合模型相比CNN-only（120k）提升约10%，且增益来自组件协同而非单纯参数增加（容量匹配CNN基线仍低于全混合）。
- 5.3 消融研究：层次依赖建模：通过去除不同组件（CNN-only、CNN+LSTM、CNN+Transformer、LSTM+Transformer）与全混合对比，发现任何组件移除都导致准确率下降4.75–11.25%，LVLA召回率从91.3%降至68.4%（CNN-only），证实空间、时间、跨模态注意力三个建模独立必要。
- 5.4 模型性能与误差分析：混淆矩阵显示全混合模型对角占优，LVLA召回率91.3%，HVLA 91%，LVHA 88%；对比CNN模型在低唤醒类混淆严重，部分混合（CNN+LSTM、CNN+Transformer）改进有限，LSTM+Transformer因缺乏空间特征仍不足。
- 5.5 跨数据集泛化分析：DEAP训练后直接在DREAMER上测试（无微调），准确率76.4%，LVLA召回率81.2%；通过特征对齐（共享14通道EEG、GSR、BVP）和零值插补缺失模态，证明学习到的表征具有生理真实性而非数据集特异性。
- 5.6 与2023–2025最新方法比较：当前方法多采用二元分类（熵1.0比特），而四象限分类熵2.0比特，复杂度加倍；尽管某些方法报告95–98%准确率，但仅限于二元任务且未报告LVLA性能；本文模型在更难的四象限任务上达到91.2%，且LVLA召回率91.3%具有临床优势。
- 5.7 定性与比较分析：与已有DEAP研究对比，部分CNN-based架构训练准确率高但测试准确率受限；本文全混合模型在四象限和LVLA表现上均优于部分混合，且通过消融和跨数据集验证证明了泛化能力。
- 5.8 模型容量与泛化分析：尽管参数-样本比532:1，通过早停、Dropout、L2正则化、Focal Loss等策略，训练-测试差距仅3–5%，五折交叉验证波动<1.5%，生理信号的低维流形（38主成分解释95%方差）支持泛化；容量匹配基线验证了全混合增益源于结构协同。
讨论部分总结：研究成功开发了混合CNN-LSTM-Transformer模型，实现四象限情绪分类。统计特征分析确认了EEG颞叶通道提供最强单模态区分力，外周信号（呼吸、GSR）提供互补信息。消融分析证实所有三个组件独立必要，LVLA类对架构完整性最敏感（召回率从68.4%提升至91.3%），具有直接临床意义。跨数据集评估（DREAMER，76.4%准确率）确认学习到的表征反映生理规律而非数据集伪影。与最新方法比较，本文模型解决的是复杂度加倍的分类问题，且首次系统报告LVLA性能。研究结论翻译如下：本研究开发并评估了混合CNN-LSTM-Transformer框架，用于从多模态生理信号进行四象限效价-唤醒情绪分类，成功实现五个具体目标。从EEG、GSR、BVP和呼吸模态中提取并验证了判别性特征，确认EEG颞叶通道和跨模态交互信息量最大，单一信号源不足以实现可靠情绪状态区分。所提架构达到91.2%四象限准确率，优于所有部分混合和单组件基线4.75–11.25%，消融分析表明空间（CNN）、时间（LSTM）和跨模态注意力（Transformer）建模各自独立必要。最显著的是，LVLA召回率从CNN-only基线的68.4%提升至完整架构的91.3%——这一结果具有特殊临床意义，因为该象限对应抑郁相近和悲伤状态，既是治疗最相关也是从生理数据中最难检测的。在DREAMER上的跨数据集评估进一步证明了在硬件和模态不匹配条件下的可迁移性（76.4%准确率，81.2% LVLA召回率），而与2023–2025年最新方法的对比确认，所提模型解决的问题比现有二元公式方法更具挑战性和临床表达力。综合来看，这些发现表明，通过层次化多模态深度学习，从可穿戴生理信号中实现压力、悲伤及相爱心境的可靠连续区分是可行的。该框架区分抑郁相近的LVLA状态与高唤醒压力反应的能力，直接回应了心理健康监测中一项关键的未满足需求——即定期临床评估和自我报告工具难以有效填补的空白。
