CA-DASCLNet：一种基于联合域对抗学习与对比学习的跨主题脑电图情绪识别深度学习框架

《Biomedical Signal Processing and Control》：CA-DASCLNet: A deep learning framework for cross-subject EEG emotion recognition via joint domain-adversarial and contrastive learning

　　

苏顺昌|林向红|滕恒基|胡曼杰|刘帅|魏立平

中国甘肃省兰州市730070，甘肃农业大学信息科学技术学院

摘要

由于受个体差异显著以及脑电图信号的非平稳性影响，跨主体情感识别在情感计算领域仍面临巨大挑战。这些因素导致不同个体之间的数据分布差异极大，严重限制了模型对未知主体的泛化能力。为解决这一问题，我们提出了CA-DASCLNet，这是一种统一的深度学习框架，它将通道注意力机制、域对抗学习以及监督对比学习整合到同一个嵌入空间中。具体而言，该框架采用了带有通道注意力机制的时序卷积编码器，能够自适应地调整有用的潜在特征与通道响应，同时抑制与任务无关的噪声。为减少因个体差异带来的问题，框架中还加入了域对抗模块，以降低训练数据集中不同个体之间的分布差异，从而帮助学习与主体无关的特征表示。此外，监督对比学习也被用来规范特征流形，提升类内紧凑性和类间可分性。在THU-EP、SEED-IV和DEAP三个基准数据集上进行的广泛留一法实验表明，所提出的框架在多类分类和二分类任务中均取得了最优或极具竞争力的跨主体识别性能。除了整体性能之外，这些结果还体现了这种统一且可配置的训练范式的实际价值——可以根据不同数据集的标签可靠性和分布特征，选择性地或共同启用域对抗学习和监督对比学习。

引言

情感识别是脑机接口和情感计算领域的重要研究方向。与面部表情、语音语调或可主观控制的生理信号等外在指标相比，脑电图能够直接反映中枢神经系统的活动。凭借其高度客观性和出色的时间分辨率，基于脑电图的情感识别在智能医疗诊断、驾驶员疲劳监测、人机交互以及情感机器人等众多应用场景中展现出巨大潜力。然而，脑电图信号本身存在信噪比低、非平稳性强以及个体差异显著等问题。因此，基于单主体数据训练的模型在应用于未知主体时往往会出现性能大幅下降的情况，这也成为了阻碍基于脑电图的情感识别系统实际应用的主要障碍。

跨主体脑电图情感识别面临的挑战主要源于高维特征空间中的多重分布不匹配，这些不匹配体现在三个方面。首先，不同主体在生理结构、电极接触条件以及心理基准值方面的差异，会导致同一情感类别的统计分布出现显著变化，使得跨主体间的有效对齐变得十分困难。其次，脑电图信号在空间拓扑结构和频域响应方面的个体特异性，会削弱特征流形的几何稳定性，导致跨主体映射后类内样本出现松散聚集甚至碎片化现象。第三，情感标签通常来自主观自我报告，而标签噪声又会与脑电图信号的非平稳性相互影响，进一步加剧类内分散和类间边界重叠的问题。因此，跨主体脑电图情感识别的核心挑战在于学习能够同时缓解领域差异、保持区分能力、实现主体不变性以及保持结构紧凑性的统一特征表示。

为应对这些挑战，现有研究主要采用了三种技术路径。一类研究致力于利用卷积神经网络、图神经网络或注意力机制来建模脑电图信号的时空结构，从而提取深度动态特征。不过，这类方法通常基于训练数据和测试数据遵循相同分布的理想假设，这使得它们在跨领域场景下的泛化能力受到限制。第二类研究则着眼于领域适配，通过对抗学习或多源领域建模来减少分布差异。然而，过度追求领域混淆往往会削弱情感区分特征，从而导致类间边界变得模糊。第三类研究引入对比学习，通过提升类内紧凑性和类间可分性来优化特征空间的几何结构。但如果没有明确的分布对齐约束，这些方法仍然极易受到个体差异较大的干扰。总体而言，现有的方法往往将特征提取、分布对齐和几何约束视为相互独立的组成部分，缺乏一个统一的端到端协同学习框架。

为克服这些局限性，本文提出了一种名为CA-DASCLNet的跨主体脑电图情感识别框架，该框架将通道注意力机制、域对抗学习以及监督对比学习整合到同一个统一且可配置的嵌入空间中。该框架在保留通用训练流程的同时，允许根据标签可靠性和分布特征进行数据集适配的规则配置。其目标是通过协同建模脑电图信号的结构特征、跨主体分布差异以及情感语义的几何组织方式，进一步提升跨主体情感表示的稳定性和区分能力。

本研究的主要贡献如下：

(1) 我们提出了一种统一且可配置的框架，可在跨主体脑电图情感识别的共享嵌入空间中，同时优化情感区分、域对抗式主体不变性学习以及监督对比学习功能。

(2) 我们设计了一种计算效率较高的通道注意力时序编码器，并证明它能够辅助实现下游的对齐和几何规范化目标。

(3) 我们分析了领域不变性与类别区分能力之间的权衡关系，通过敏感性分析和消融实验表明，适度结合对抗式对齐与监督对比学习约束，能够获得更稳定的跨主体特征表示。

(4) 我们在THU-EP、SEED-IV和DEAP这三个数据集上，采用严格的留一法评估方案，并根据标签可靠性和数据特征的差异设置相应的数据集适配规则，对框架进行了验证。

在包括THU-EP、SEED-IV和DEAP在内的多个跨主体基准数据集上进行的广泛实验表明，CA-DASCLNet在多类情感识别和二分类情感识别任务中均取得了最优或极具竞争力的性能，充分证明了该框架在跨主体脑电图情感识别领域的有效性和鲁棒性。

章节节选

相关工作

近年来，脑电图情感识别领域发生了重大变革，研究方法从传统的特征工程逐步转向深度表示学习范式。研究的重点也逐步从受控的单主体场景，转向更具挑战性的跨主体和跨语料库泛化问题。

对现有文献的回顾显示，尽管深度学习在诸多方面具有显著优势

方法

跨主体脑电图情感识别的核心挑战在于如何克服由个体差异以及情感标注的主观性所带来的显著领域差异。我们所提出的CA-DASCLNet是一种统一且可配置的框架，旨在在异构的跨主体脑电图条件下学习具有区分能力且与主体无关的特征表示。该框架将卷积时序建模与通道注意力机制整合到同一个

实验

为了全面评估CA-DASCLNet在跨主体场景下的有效性和鲁棒性，我们在三个常用的脑电图情感识别基准数据集——THU-EP、SEED-IV和DEAP上开展了系统性实验。这些数据集涵盖了多种情感诱发方式（视频/音乐）、不同的分类任务复杂度（2类、4类和9类设置），以及不同的数据采集配置，从而可以多维度地评估该模型的

结论

为解决跨主体脑电图情感识别中存在的领域差异、类内结构松散以及标签主观性等问题，本文提出了CA-DASCLNet，这是一种统一且可配置的特征学习框架。通过整合卷积时序建模、作为结构先验的通道注意力机制、用于分布对齐的域对抗学习，以及作为几何约束的监督对比学习，该框架能够系统地提升情感识别的区分能力。

CRediT作者贡献说明

苏顺昌：写作——审稿与编辑，写作——初稿撰写，软件开发，方法设计。林向红：写作——初稿撰写，软件开发，资源收集，资金申请。滕恒基：写作——审稿与编辑，写作——初稿撰写，软件开发，方法设计。胡曼杰：写作——审稿与编辑，写作——初稿撰写，软件开发。刘帅：写作——初稿撰写，软件开发。魏立平：写作——审稿与编辑，可视化处理。

代码可用性

本研究使用的代码，可在合理请求下从相应作者处获取。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

本研究得到了中国国家自然科学基金（项目编号：62266040）、甘肃省研究生“创新之星”项目（项目编号：2025CXZX/327）、甘肃省高校产业支撑计划项目（项目编号：2022CYZC-13）以及中国甘肃省自然科学基金（项目编号：24JRRA127）的支持。