ReDyGait:利用门控注意力实现表示解耦,从而在姿态检测中实现不变性-上下文迁移 马彦洲(Yanzhou Ma)、 罗云(Yun Luo)和 彭明阳(Mingyang Peng)

《Mathematics》:ReDyGait: Representation Disentanglement with Gated Attention for Invariant-Contextual Transfer in Stance Detection Yanzhou Ma, Yun Luo and Mingyang Peng

【字体: 时间:2026年04月08日 来源:Mathematics 2.2

编辑推荐:

   摘要

  



摘要



当编码器将立场信号与特定主题的词汇混合时,跨主题立场检测的性能会下降,导致模型无法将表示方法有效地应用到未见过的目标上。现有的方法要么采用与主题无关的表示方法,要么采用与主题相关的表示方法,并对所有输入应用相同的策略,从而放弃了互补的信息。我们提出了ReDyGait,这是一个三阶段框架,通过专门的对比预训练来分离这两种类型的信号,并在推理时自适应地重新组合它们。第1阶段使用监督对比损失训练一个与主题无关的编码器,针对跨主题的正样本;第2阶段使用双向成对对比损失训练一个考虑上下文的编码器,针对同一主题内的正样本;这两个阶段都采用与主题相关的难负样本挖掘来防止捷径学习。第3阶段固定这两个对比编码器,并学习一个门控网络,该网络为不变路径、上下文路径和基础编码器路径生成每个实例的权重。在VAST数据集上,ReDyGait在零样本设置下的宏观平均F1分数为0.782,在少样本设置下为0.752,比最强的基线方法提高了1.1个百分点;在SEM16t6数据集的留一目标设置中,ReDyGait的平均F1分数为0.612。对学习到的门控权重的分析表明,当遇到不熟悉的主题时,模型会倾向于使用不变路径;而当存在特定主题的模式时,模型会倾向于使用上下文路径,这证实了分离效果正如预期的那样。


相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号