用于时间序列预测的自组织级联回声状态网络

《Knowledge-Based Systems》：Self-organizing Cascaded Echo State Network for Time Series Prediction

本文提出一种基于残差学习与粒子群优化算法的自组织级联echo state网络（SCESN），通过自动确定网络深度和逐步逼近目标输出，有效提升复杂时间序列预测性能，实验验证优于现有深度ESN方法。

　　

李行尚|李帆军|刘倩文|郑守静

济南大学数学科学学院，中国济南250022

摘要

作为一种特殊的循环神经网络，回声状态网络（ESN）常被用作时间序列的预测模型。然而，许多研究表明，原始的ESN在捕捉复杂时间序列中的潜在动态特征方面表现不如深度ESN。因此，基于逐步逼近的思想，提出了一种自组织级联回声状态网络（SCESN）来解决这个问题。首先，设计了一个具有自组织深度的深度结构，通过逐个级联添加ESN模块来逐步逼近目标输出。然后，开发了一种结合PSO算法的新型残差学习框架，每个级联的ESN模块都经过预训练以提取目标输出的不同特征信息。此外，从理论上对SCESN的收敛性进行了分析。最后，在时间序列预测的基准数据集上的实验结果表明，所提出的SCESN比一些现有的深度ESN具有更好的预测性能。

引言

时间序列预测方法在许多领域引起了广泛关注[[1], [2], [3]]。由于循环神经网络（RNN）的非线性动态特性，它们在时间序列预测中表现良好[4]。然而，传统RNN的所有权重都需要通过基于梯度的优化算法进行优化，这可能导致一些问题，如梯度消失、梯度爆炸、计算成本高和局部最优解[[5], [6]]。作为一种特殊的RNN，回声状态网络（ESN）在训练阶段使用线性回归方法计算循环层和输出层之间的连接权重，同时保持其他权重不变[7]。因此，ESN不仅继承了RNN的非线性动态特性，还避免了基于梯度优化算法带来的上述缺点。由于这些优点，ESN被广泛应用于许多领域[[8], [9]]，特别是在时间序列预测任务中[[10], [11], [12]]。

然而，许多研究表明，原始的ESN在捕捉复杂时间序列中的潜在动态特征方面表现不如深度ESN[13,19]。为了解决这个问题，在过去的几十年中提出了许多深度ESN，方法是通过堆叠多个 reservoir。目前，堆叠 reservoir 有三种主要方式：串联、并联和级联。Gallicchio 通过仿真实验分析了不同 reservoir 堆叠方式的深度 ESN 的动态特性[13]。实验结果表明，堆叠 reservoir 是提高 ESN 在动态特性、短期记忆容量和多尺度表示方面的性能的有效方法。为了揭示多尺度特征，通过使用随机连接权重直接串联多个 reservoir，开发了一种多层回声状态机（ML-ESM）[14]。为了捕捉输入序列的多尺度动态特性，提出了一种新的分层投影编码结构，通过交替堆叠 reservoir 和前馈编码层，称为深度投影编码 ESN（DeePr-ESN）[15]。在[16]中，提出了一种用于声学建模的分层系统，通过串联单个 reservoir ESN。与上述串联堆叠 reservoir 不同，Broad-ESN 通过并联堆叠多个 reservoir 来提高原始 ESN 的特征信息提取能力[17]。受到“分而治之”思想的启发，提出了链式结构 ESN（CESN），通过级联方式堆叠多个 ESN 模块来增强原始 ESN 对复杂时间序列的预测能力，其中每个模块模拟输入信号的不同动态特性[18]。

在设计具有多个 reservoir 的多层 ESN 时，选择 reservoir 的数量是一个挑战。因此，开发了一些自组织算法来解决这个问题，而不是依赖手动调整。基于受限玻尔兹曼机（RBM），提出了一种无监督方法来选择 Broad-ESN 的 reservoir 数量[17]。为了选择具有串联多个 reservoir 的深度 ESN 的深度，通过逐层分析 reservoir 状态空间的动态特性，提出了一种基于谱分析的受控深度方法[19]。基于主成分分析，提出了一种自组织方法来自动确定深度 ESN 的 reservoir 大小和数量[20]。然而，尽管上述方法可以有效地选择深度 ESN 的 reservoir 数量，但它们忽略了目标输出对网络深度的影响。引入网络的目标输出对于确定多层神经网络的深度至关重要[[21], [22]]。

另一方面，不同的 reservoir 参数意味着 reservoir 具有不同的动态特性[23]。在设计 ESN 时，为给定任务选择最优的 reservoir 至关重要。然而，随着网络深度的增加，参数空间的维度变得更高，使得通过试错方法选择参数变得非常困难。因此，为深度 ESN 开发了许多参数选择方法。在[17,20]中，提出了一些改进的拟牛顿算法来选择深度 ESN 的 reservoir 参数。基于贝叶斯方法，开发了一种自动程序来选择具有串联 reservoir 的深度 ESN 的 reservoir 参数[24]。此外，一些智能优化算法也被成功应用于选择 ESN 的 reservoir 参数[15,25]。作为智能优化算法的代表，粒子群优化（PSO）在解决复杂优化问题时简单高效，已被广泛用于选择 ESN 的 reservoir 参数[[26], [27], [28]]。

受到上述研究的启发，基于逐步逼近思想，开发了一种自组织级联 ESN（SCESN）用于时间序列预测。首先，通过逐个级联多个 ESN 模块来设计一个具有自组织深度的深度级联结构，以增强原始 ESN 的特征提取能力。每个级联的 ESN 模块接收所有先前模块的原始输入和输出。然后，结合残差学习机制和 PSO 算法提出了一种新的训练算法，对每个 ESN 模块进行预训练以提取目标输出的不同特征信息。基于所提出的增量级联结构和学习算法，所提出的 SCESN 可以逐步逼近网络的目标输出。同时，我们从理论上证明了网络的逼近误差随着模块数量的增加而单调减小。最后，使用四个时间序列基准数据集来测试所提出的 SCESN。实验结果表明，我们的 SCESN 提高了原始 ESN 的特征提取能力，并且比一些现有的深度 ESN 具有更好的预测性能。

与现有的级联 ESN[18]相比，所提出的 SCESN 构建了一个增量结构，可以根据训练误差自动确定网络深度。通过所提出的残差学习框架，每个模块都经过预训练以适应前一步的学习残差。这样，所提出的 SCESN 随着网络的增长逐渐逼近目标输出。同时，使用 PSO 来选择 ESN 模块的超参数。接下来，我们将给出本文的主要贡献。

• 1.
  开发了一种用于时间序列预测的自组织级联 ESN，它可以逐步逼近目标输出并自动确定其网络深度。
• 2.
  开发了一种新的学习框架，通过结合残差学习机制和 PSO 算法来预训练每个级联 ESN 模块，以提取目标输出的不同特征信息。
• 3.
  通过所提出的深度级联结构和学习算法，SCESN 在复杂时间序列预测任务中具有更强的特征提取能力和更好的预测性能。

本文的其余部分安排如下。第二节简要回顾了原始的回声状态网络。第三节详细描述了我们的主要工作，包括级联结构、数学表达式、学习算法和理论分析。第四节，我们将给出时间序列预测基准数据集的实验结果和讨论。最后，第五节提供了结论和进一步的工作。

部分摘录

回声状态网络

图 1 显示了没有输出反馈的 ESN 的架构。可以看出，作为一种特殊的 RNN，原始的 ESN 有三个基本组成部分：输入层、输出层和由许多稀疏连接节点组成的 reservoir 层。

将输入层、输出层和 reservoir 层的大小分别设置为 K, L 和 N。$W^{\mathrm{in}}\in R^N$$W^{\mathrm{out}}\in R^L$$W^{\mathrm{res}}\in <mrow><mi>R</mi></mrow><mrow><mi>N</mi></mrow>$$W^{\mathrm{in}}\in R^N$$W^{\mathrm{out}}\in R^L$