STLTEformer：一种用于交通流量预测的时空长期嵌入变换器

《IEEE Transactions on Computational Social Systems》：STLTEformer: Spatio-Temporal Long-Term Embedding Transformer for Traffic Flow Prediction

交通流预测中模型复杂度高、时空特征捕捉不足，STLTEformer通过5/15/30分钟时空嵌入层融合细粒度关联与长期趋势，实验显示MAE降低13.6%，RMSE降低9.4%，计算效率优于GNN和Transformer模型。

　　

摘要：

交通流量预测对于高效的交通系统至关重要，它能够实现更好的交通管理和决策制定。然而，由于交通流量存在复杂的空间和时间依赖性以及细微的变化，这一任务极具挑战性。为了应对这些复杂性，人们提出了多种网络架构，尤其是图神经网络（GNN）和变换器（transformers）。尽管如此，随着网络架构的不断进步，它们的性能提升速度却开始放缓。这种关注点的转变使得人们开始重视输入嵌入（input embeddings），因为它们为构建更简单、更有效的模型提供了有希望的途径。本文介绍了用于精确交通流量预测的空间-时间长期嵌入变换器（STLTEformer）框架。该框架设计了5分钟、15分钟和30分钟的间隔嵌入，分别用于捕捉短期波动、中期趋势和长期模式。这些嵌入使得STLTEformer能够理解复杂的交通流量模式。在四个真实世界数据集上进行了广泛的实验，结果表明，与基于GNN的流行模型相比，STLTEformer在平均绝对误差（MAE）上提高了13.6%、在均方根误差（RMSE）上提高了9.4%、在平均绝对百分比误差（MAPE）上提高了14%；与基于变换器的流行方法相比，STLTEformer在MAE上提高了5%、在RMSE上提高了1.9%、在MAPE上提高了7.5%，同时保持了良好的计算效率。

引言

交通流量预测是现代交通管理和城市规划的重要组成部分，它有助于识别易发生拥堵的区域和时段，使交通管理部门能够采取策略来缓解交通拥堵。准确的交通流量预测依赖于对交通系统复杂的空间-时间特性的理解，包括道路网络布局和不断变化的交通模式。传统的基于时间序列的交通预测模型侧重于历史数据，但忽略了道路段之间的空间关系[1]。另一方面，非参数模型在一定程度上考虑了空间因素，但在模拟大规模交通网络中的复杂非线性关系方面仍存在局限性[2]、[3]。近年来，图神经网络（GNN）因其能够捕捉数据中的空间依赖性和复杂关系而受到关注[4]、[5]、[6]、[7]。然而，GNN在计算上非常耗资源，尤其是在处理大规模网络时[8]。此外，变换器作为一种有效的模型，已经能够处理交通数据中的空间-时间特征[9]、[10]。凭借其自注意力机制，变换器在捕捉时间依赖性方面表现出色，因为它们可以根据历史交通数据点与当前预测的相关性来不同地权衡这些数据点的重要性。随着网络架构的进步，变换器的性能提升速度开始下降。许多这类模型擅长捕捉长期模式，但忽略了可能影响预测准确性的隐藏的细微相关性。一些研究难以捕捉交通模式之间的隐藏联系，从而难以从数据中提取详细信息[11]。此外，旨在处理交通数据的空间和时间特性的研究往往会产生复杂的模型，这导致训练时间延长，并对计算资源的需求大幅增加[9]。因此，人们的关注点已经从复杂的模型设计转向了更有效的数据表示技术[10]。