S2 HS：在多模态情感分析中，针对难处理的情感数据，采用具有子模态标签感知能力的自我蒸馏方法进行情感学习

《Artificial Life》：S2 HS: Submodality Label-aware Self-distillation for Hard-Sentiment Learning in Multimodal Sentiment Analysis

　　

摘要：

多模态情感分析（MSA）旨在通过联合建模来自文本和音频等多种模态的信息来推断人类情感。尽管最近取得了进展，现有方法仍面临两个根本性挑战：（1）由于表示不均匀和监督信号不明确导致的模态间情感不一致；（2）在缺乏可靠的单模态标签的情况下，未能充分利用模态内和模态间的关系信息。为了解决这些问题，我们提出了基于子模态标签感知的自蒸馏方法用于难情感学习（Submodality Label-aware Self-distillation for Hard-Sentiment Learning，简称S2HS）。该方法基于单模态伪标签构建了一种协作式表示学习机制，以学习模态不变和模态特定的特征。具体来说，S2HS 明确地对子模态伪标签之间的结构和数值关系进行了建模，以揭示不同模态间的情感一致性和差异性。在此基础上，难情感自蒸馏模块利用非重叠的关系在模态间传递知识，增强了复杂难情感样本的弱模态表示。此外，提出了Top-K软标签对比损失和关系加权正交损失，以动态平衡跨模态对齐和特征解耦，从而减轻噪声和模态冲突。最后，通过融合模态不变、模态特定和上下文特征，S2HS 学习到了具有区分能力和鲁棒性的多模态情感表示。在CMU-MOSI和CMU-MOSEI数据集上的实验结果表明，S2HS 达到了最先进的性能，在CMU-MOSI数据集上的准确率为89.79%，相关性为0.876；在CMU-MOSEI数据集上的准确率为88.50%，相关性为0.821。