基于图注意力网络的对比学习增强型多层次兴趣感知会话推荐系统

《Expert Systems with Applications》：Contrastive Learning Enhanced Multi-level Interest-aware for Session-based Recommendation via Graph Attention Networks

Session-Based Recommendation通过多层级兴趣感知超图建模用户兴趣，结合中介节点捕捉长距离依赖，利用融合门控网络整合多尺度特征，引入对比学习缓解数据稀疏，并通过RENorm区分探索与重复行为，实验验证优于基线模型。

　　

杨帆|彭敦鲁|徐一鸣|陈楠

中国南通大学电气工程与自动化学院，南通226019

摘要

基于会话的推荐（SBR）的目标是通过利用一系列交互行为来预测下一个项目。准确建模用户下一次点击与过去行为之间的依赖关系对于提高推荐性能至关重要。现有的SBR模型主要关注用户当前的兴趣，这通常由序列中最新的项目或单个项目之间的交互来表示，而没有充分考虑用户兴趣的不同层次。此外，交互序列的稀疏性也限制了模型的推荐性能。本研究提出了一个增强对比学习的多层次兴趣感知图注意力网络（CLEMI-GAT）用于SBR。会话序列被构建为一个多层次兴趣感知的超图，该超图利用不同层次的兴趣感知模块和图注意力网络（HGAT）来学习用户的深层兴趣。同时，构建了一个交互图来聚合用户的长期注意力，并添加了中间节点以捕获项目之间的长距离依赖关系。采用融合门控网络来合并用户的多层次兴趣和长期注意力。在这项工作中，引入了重复探索归一化（RENorm）来考虑预测中的探索和重复行为，以便更好地区分会话序列内外的项目。辅助任务，即对比学习（CL），进一步增强了我们模型CLEMI-GAT的项目表示能力，从而缓解了数据稀疏性问题。广泛的实验结果表明，CLEMI-GAT在真实数据集上的性能优于基线模型。

引言

推荐系统（RSs）可以有效减少信息过载并提升用户体验（Wang等人，2022b）。现有的推荐方法，包括协同过滤（Park, Lee, & Lee, 2011）、基于内容的方法（Blanco-Fernández, Nores, Gil-Solla, Cabrer, & Pazos-Arias, 2011）和基于信任的方法（Ardissono & Mauro, 2020），通常依赖于用户身份信息和长期的历史交互行为来推断用户感兴趣的内容。然而，这些方法在实际应用中存在一些缺点，如冷启动、短期交互的数据稀疏性以及用户匿名性，这些都会导致不满意的推荐结果。近年来，基于会话的推荐（SBR）受到了研究人员的广泛关注。SBR根据匿名用户当前的行为序列预测下一个最有可能被交互的项目（Pan, Cai, Chen, Chen, & Chen, 2022），其性能在很大程度上取决于会话序列中相邻项目之间的关联。

传统SBR的一个典型代表方法是马尔可夫链（MC）（Cheng, Yang, Lyu, & King, 2013），它通过建模用户-项目交互行为来预测下一次交互。然而，该模型假设当前序列交互仅依赖于少数最近的项目，因此只能捕捉到短期依赖关系，忽略了序列中的丰富动态信息。因此，需要更有效的推荐模型来处理会话序列数据。由于深度神经网络强大的数据拟合能力，一些基于卷积神经网络（CNN）（Wang, Lee, & Wu, 2022a）和循环神经网络（RNN）（Liu, Zeng, Mokhosi, & Zhang, 2018）的推荐模型应运而生。基于CNN的推荐方法首先将项目序列转换为嵌入矩阵，然后通过卷积核学习序列的局部特征作为序列的表示。然而，这些方法受到卷积核大小的限制，无法有效捕捉序列的长期依赖关系。虽然基于RNN的方法能够获取序列中的长期依赖关系，但在实际应用中可能会过度强调相邻项目之间的顺序并学习许多错误的依赖细节。考虑到Transformer在编码序列方面的强大能力，最近的研究将其应用于RSs并取得了显著成果。Transformer（Vaswani等人，2017）是一种基于注意力机制的深度学习模型，能够同时利用位置嵌入模块来捕捉用户-项目交互序列中不同项目的重要性，从而提高SBR的性能。然而，SBR任务的训练数据集通常更加稀疏，这削弱了Transformer建模序列中项目关联的能力。

在图神经网络（GNN）（Ouyang, Xu, Chen, Xie, Zheng, Song, Zhao, 2023, Wang, Wei, Cong, Li, Mao, Qiu, 2020）首次应用于社交网络分析之后，将其应用于SBR任务的研究受到了广泛关注。基于GNN的SBR模型将会话序列构建为图模型，然后使用GNN来探索项目之间的复杂转换关系。然而，由于GNN更关注成对和局部的邻居项目，因此无法有效获取非成对项目信息。DHCN（Xia等人，2021）使用超图对高阶非成对关系进行建模，并将自监督学习纳入建模过程。现有方法大多关注挖掘用户的总体兴趣，忽略了不同层次兴趣的转换。例如，图1中给出了一个交互序列（“烤箱”、“鸡蛋”和“牛奶”）。如果我们关注用户最后点击的项目“牛奶”，用户可能对“牛奶产品”更感兴趣，下一个合理的推荐可能是“酸奶”。但如果我们关注用户的更高层次兴趣，即同时考虑“鸡蛋”和“牛奶”，用户可能对“早餐”更感兴趣，“面包”可能是一个更好的建议。此外，当我们综合考虑“烤箱”、“鸡蛋”和“牛奶”时，可以发现用户可能更想制作糕点，因此可能需要合适的面粉。上述示例说明了挖掘用户不同层次兴趣的重要性。

在此基础上，研究人员开始结合不同粒度的兴趣来捕捉用户偏好的层次结构。HIDE（Li, Gao, Luo, Jin, & Li, 2022）通过滑动窗口构建意图超边来学习兴趣变化，而MSGIFSR（Guo等人，2022）使用连续的用户意图单元构建异构图来捕捉多粒度意图。尽管这些方法表现出色，但它们有两个显著的限制，阻碍了进一步的改进。首先，长距离依赖关系（指会话中非相邻项目之间的关系）没有得到明确建模。HIDE依赖于局部超边聚合，而MSGIFSR依赖于顺序编码，这两种方法都难以捕捉会话中相隔较远的项目之间的交互。其次，这些方法缺乏有效机制来解决SBR固有的数据稀疏性问题，尤其是对于交互历史有限的短会话。尽管HIDE采用意图分类任务作为辅助目标，但它没有利用对比学习的表示能力。对比学习（CL）（Xie等人，2022）被认为是一种缓解数据稀疏问题的好方法，可以从未标记数据中提取更多监督信息，并减少模型对标记数据的依赖。

为了克服这些限制，本研究提出了一个增强对比学习的多层次兴趣感知图注意力网络（CLEMI-GAT）用于SBR。首先，它构建了一个多层次兴趣感知的超图来捕捉层次化兴趣，同时构建了一个中间交互图来模拟会话内的长距离依赖关系，这是HIDE和MSGIFSR所不具备的功能。其次，融合门控网络结合了多层次和总体兴趣，提供了用户意图的全面表示。第三，将对比学习作为辅助任务整合进来，以增强嵌入并缓解数据稀疏性。最后，重复探索归一化（RENorm）区分了预测中的重复和探索行为。总体而言，这些创新使CLEMI-GAT能够同时建模多层次兴趣、长距离依赖关系、数据稀疏性和重复探索行为，从而实现更准确的SBR。

本研究的主要贡献总结如下：

•

构建了一个多层次兴趣感知的超图，有效捕捉用户不同层次的兴趣。中间节点的整合有助于更好地学习序列中项目之间的依赖关系，从而实现兴趣感知的多样化粒度。

•

采用重复探索归一化（RENorm）来区分会话内外的项目权重，并联合优化对比学习任务和SBR任务，以提高推荐性能。

•

在三个真实数据集上进行了广泛的实验。实验结果表明，CLEMI-GAT在所有选定的推荐性能指标上均优于对比模型，如HIDE和MSGIFSR。

本文的其余部分组织如下。在第2节介绍相关工作后，我们正式定义了SBR问题，并介绍了CLEMI-GAT的两种会话图构建方法。第4节详细描述了我们的模型CLEMI-GAT。第5节提供了实验信息以及实验结果分析，最后在第6节总结了我们的工作。

相关研究

与我们的工作最相关的研究包括三个方面：基于传统的SBR、基于GNN的SBR和对比学习，下面将简要描述。

初步

在本节中，我们首先给出了研究问题SBR的正式定义，然后介绍了CLEMI-GAT的会话图构建方法。表1展示了本工作中使用的符号定义。

方法论

图3包括CLEMI-GAT的四个模块：（i）HGAT（模块I）捕获序列中的多层次兴趣。（iii）GAT（模块II）聚合项目之间的长距离信息。（iii）融合（模块III）通过融合门控网络融合序列的多层次和总体兴趣。（iv）预测使用重复探索归一化（RENorm）和对比学习（CL）进行评分计算。

实验与分析

为了验证CLEMI-GAT的有效性，我们进行了相关实验。首先介绍了实验中使用的数据集和数据预处理方法。然后描述了评估机制、用于比较的基线模型以及实验参数设置。最后，我们提供了实验结果及其分析，通过回答以下四个关键问题来探讨我们提出模型的性能：

•

RQ1： CLEMI-GAT是否优于基线模型

结论

现有的基于GNN的SBR模型直接分析单个项目或当前会话序列的最后一个项目，利用粗粒度的项目间转换信息。这些模型对会话数据的稀疏性关注不足，无法获得用户的多层次兴趣，导致推荐性能不佳。在我们提出的CLEMI-GAT模型中，构建了一个多层次兴趣感知的超图模型来学习

利益冲突声明

我们声明与提交的工作没有任何商业或关联利益冲突。

数据和材料的可用性

作者声明支持本研究发现的数据在文章中可以找到。

CRediT作者贡献声明

杨帆：概念化、方法论、正式分析、调查、撰写-审阅与编辑、监督。彭敦鲁：概念化、方法论、正式分析、调查。徐一鸣：概念化、方法论、正式分析、调查。陈楠：概念化、方法论。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。