QMATE：利用查询增强型多任务自适应变换器缓解梯度冲突，以实现脑电图（EEG）表示的统一

《Knowledge-Based Systems》：QMATE: Mitigating gradient conflict with query-enhanced multi-task adaptive transformer for unifying EEG representation

　　

魏雄|林俊明|李江通|李杰|姜长军

摘要

开发脑电图基础模型（EEG-FMs）面临两个主要挑战：记录设置的异质性和内部多任务学习动态的不透明性。传统架构难以在不同受试者和任务之间进行泛化，而现有的EEG-FMs作为“黑箱”系统运行，掩盖了训练过程中不同目标之间的相互作用。我们对梯度动态的实证分析表明，当前领先的模型存在显著的梯度干扰，即下游任务之间的冲突优化方向会降低联合学习性能。为了解决这些问题，我们提出了基于查询增强的多任务自适应变换模型（QMATE），该模型结合了通道自适应分词器，通过可学习的潜在查询将不同的配置投影到共享的潜在空间中。这种机制充当一个可训练的信息瓶颈，将信号压缩成“神经令牌”，以过滤特定于任务的噪声并保留与任务无关的EEG特征。

通过超越标准的性能指标，我们提供了这种架构如何支持有效多任务学习的机制解释。通过使用反草图投影和子空间亲和度指标进行梯度动态分析，我们映射了参数空间中任务更新的几何关系。我们的研究结果表明：（1）由可学习潜在查询引起的瓶颈迫使模型在语义上不相关的任务之间利用共享信息，显著减少了破坏性干扰并改善了任务间的梯度对齐；（2）功能对齐的任务表现出较高的梯度子空间亲和度，促进了积极的知识转移；（3）在这个结构化的优化流形中进行联合微调提高了表征稳定性。在六个基准测试中的实验表明，QMATE相比现有基线模型具有更高的适应性和泛化能力，为神经接口建模提供了一种透明的方法。代码可在此处获取：点击此处。