《Multimodal Technologies and Interaction》：Ergonomic Evaluation of Augmented Reality-Based Visualization of Scattered Radiation Distribution During Partial-Angle CT
Hiroaki Hasegawa
编辑推荐：
研究人员提出了一种融合PAD（Pleasure-Arousal-Dominance）三维情感空间感知的多模态混合对比学习框架，旨在同时实现离散情感分类与连续情感维度回归。该框架整合声学语音信号、声门信号及发音运动学序列三类异质模态，利用Wav2Vec 2.0
研究人员提出了一种融合PAD（Pleasure-Arousal-Dominance）三维情感空间感知的多模态混合对比学习框架，旨在同时实现离散情感分类与连续情感维度回归。该框架整合声学语音信号、声门信号及发音运动学序列三类异质模态，利用Wav2Vec 2.0 XLSR作为声学与声门模态的骨干网络，冻结特征编码器并微调上下文编码器以平衡预训练表征稳定性与下游任务适应性。发音运动学模态采用GRU–Transformer时序建模结构，并通过线性投影层将特征统一映射至768维，与声学模态实现维度对齐。在第一阶段训练中，引入模态内与模态间混合对比损失，并基于PAD空间距离动态调整样本权重，以缓解相似情感的模糊边界问题。第二阶段移除投影头，采用交互注意力机制融合多模态特征，经层归一化与最大池化后输入多层感知机，联合输出六类离散情感概率与PAD三维连续值。实验表明，该方法在增强分类精度的同时提升了情感维度的连续性预测能力，为复杂场景下的多模态情感分析提供了鲁棒的特征表示基础。
研究背景方面，当前多模态情感分析面临异质模态特征分布差异大、情感类别边界模糊、连续情感维度预测精度不足等问题。传统方法难以同时兼顾离散情感分类与连续情感维度回归任务，且缺乏对情感感知空间的显式建模。为此，研究人员在《Multimodal Technologies and Interaction》发表研究，提出一种融合PAD三维情感感知的多模态混合对比学习框架，旨在实现跨模态语义对齐与情感连续性建模的统一优化。
关键技术方法包括：1）采用Wav2Vec 2.0 XLSR作为声学与声门模态的共享特征提取器，通过冻结7层CNN特征编码器并微调Transformer上下文编码器以适配任务；2）针对发音运动学模态设计GRU–Transformer时序建模结构，结合局部动态捕捉与长程依赖建模；3）构建基于PAD空间距离的动态加权混合对比损失（MMCL-PAD），融合模态内与模态间对比约束；4）设计跨模态交互注意力融合模块，以声学特征为键/值、声门与发音运动学特征为查询进行多头注意力计算，经拼接与层归一化后输出融合特征。
研究结果部分：
4.2 特征提取：声学与声门模态采用带循环移位的Wav2Vec 2.0编码，通过独立实例建模声门时序特性，共享参数以增强环境扰动鲁棒性；发音运动学模态通过GRU捕获局部时序依赖，Transformer多头注意力建模全局节律模式，形成768维统一特征。
4.3 多模态注意力融合机制：采用8头交叉注意力机制，声学特征作为K/V，声门与发音运动学特征作为Q，经注意力加权与最大池化后拼接为2304维向量，有效抑制冗余信息并增强模态互补性。
4.4 融合PAD感知的多尺度对比损失函数：MMCL-PAD损失通过PAD空间距离动态调整温度系数，对相似情感样本进行差异化处理。其中模态内对比损失（IACL）增强单模态特征判别性，模态间对比损失（IECL）优化跨模态语义对齐，PAD动态约束则缓解传统对比学习中“假正/负样本”问题。
讨论与结论部分指出，该框架通过特征编码、对比优化与融合输出的端到端流程，实现了多模态语义对齐与情感连续性建模的统一。实验证明，PAD引导的混合对比学习能有效建模情感模糊边界，交互注意力融合显著提升跨模态特征互补性。该研究为复杂环境下的情感计算提供了新的技术路径，在人机交互、心理健康评估等领域具有重要应用价值。
