HMamba：用于序列推荐的“双曲曼巴”模型

《ACM Transactions on Information Systems》：HMamba: Hyperbolic Mamba for Sequential Recommendation

序列推荐系统需兼顾时间效率与层次结构建模，现有方法存在效率与层次平衡的困境。本文提出Hyperbolic Mamba（HMamba），通过超球面几何和曲率感知状态空间实现双重优化，在保持3.2倍训练速度的同时提升3-11%准确率，解决了深层长序列建模难题。

　　

摘要

序列推荐系统需要同时具备时间效率来处理长时间的交互历史，以及层次化表示来建模复杂的用户-物品关系。现有方法面临一个根本性的矛盾：基于Mamba的方法提供了线性时间的效率（$O\left(L\right)$），但它们在欧几里得空间中运行，这会扭曲层次结构；双曲模型能够很好地捕捉分类结构，但复杂度为二次方（$O\left(L^2\right)$）。为了解决这一双重挑战，我们提出了Hyperbolic Mamba（HMamba），这是第一个将具有曲率感知的状态空间与双曲几何学相结合的架构。我们的关键洞察是，双曲曲率（$\kappa$）同时控制着：（1）通过）来控制状态转换的粒度；（2）通过$d_L\propto \sqrt{\kappa }\log ?(?)$来保持层次距离。这使得效率和层次结构的联合优化成为可能，从而解决了之前无法解决的深度长序列建模问题。实验表明，HMamba在保持比基于注意力的模型快3.2$\times$倍训练速度的同时，准确率提高了3-11%，为层次感知的序列推荐建立了一个新的范式。我们论文中的代码和数据集可在https://github.com/CoderPowerBeyond/HMamba公开获取。