综述：针对时间序列数据训练深度神经网络（DNNs）的标准化技术的系统文献综述与分类

《Neurocomputing》：A Systematic Literature Review and Taxonomy of Normalization Techniques in Training DNNs for Time-Series Data

　　穆贾希德·阿卜杜拉希（Mujaheed Abdullahi）|希塔姆·阿尔胡萨恩（Hitham Alhussian）|诺尔沙基拉·阿齐兹（Norshakirah Aziz）|赛义德·贾迪德·阿卜杜勒卡迪尔（Said Jadid Abdulkadir）|萨拉姆·奥斯曼·法格里（Sallam Osman Fageeri）|阿布巴卡尔·巴拉（Abubakar Bala）|沙姆苏丁·亚当努（Shamsuddeen Adamu）|拉比乌·巴希尔·尤努斯（Rabiu Bashir Yunus）
马来西亚斯里伊斯坎达尔32610，PETRONAS科技大学计算机系

**摘要**
在时间序列数据上训练深度神经网络（DNN）时，归一化技术至关重要。它们通过将特征调整到可比的尺度上来提高训练的稳定性和效率。然而，模型性能在很大程度上取决于选择合适的归一化方法。正确的技术有助于稳定输入分布并支持更好的学习。本文提出了一项系统的文献综述（SLR），探讨、分析并研究了用于时间序列数据上训练DNN的归一化技术。我们在多个数据库中进行了系统搜索，包括SCOPUS、ScienceDirect、IEEE Xplore、Web of Science、MDPI和ACM。我们根据PRISMA 2020指南调查和评估了2013年至2026年间发表的46项研究。我们提出了一种归一化框架的分类法，并引入了一种自适应序列（adapt-seq）层。该层首先使用z分数归一化对输入进行标准化，然后应用自适应最小-最大缩放来调整特征范围，同时减少对异常值的敏感性。该方法在金融（限价单簿）和医疗（心力衰竭）时间序列数据集上使用MLP和LSTM模型进行了验证。在两个数据集中，adapt-seq在所有报告的指标（准确性、精确度、召回率和F1分数）上均优于批量归一化和无归一化。我们对所选研究的综合表明，批量归一化是用于时间序列数据上训练DNN的最常用技术，可能是因为它提高了训练稳定性并加快了收敛速度。我们还总结了现有归一化方法在时间序列设置中的关键局限性，并概述了未来研究的开放性挑战和有前景的方向。

**引言**
时间序列是一组按时间顺序排列的观测值。时间序列预测被应用于金融、医疗和环境系统[1]、[2]、[3]、[4]。归一化是深度学习模型的关键预处理步骤，因为它可以调整特征尺度并改善优化效果。当变量在尺度或重要性上存在差异时，这一点尤为重要。归一化对于确保每个变量不会引入预测模型中的偏差至关重要，特别是在单变量数据集中变量可能具有不同重要性的情况下[5]、[6]。已有大量研究报道了归一化技术对时间序列数据预测中分类模型性能的影响[7]。许多研究调查了归一化技术对深度神经网络（DNN）的影响。例如，Bhanja等人[8]探索了在数据输入DNN模型之前应用于时间序列数据的各种归一化技术，并试图确定每种归一化技术对预测准确性的影响。他们发现，这些模型的性能在很大程度上取决于有效的数据预处理，特别是归一化技术。归一化确保了不同输入尺度下的一致性能。

目前，基于时间序列的DL模型使用各种数据归一化技术，如z分数、小数缩放、最小-最大值、中位数和向量归一化。例如，Craig等人[9]研究了基于均值中心和z分数的特征和实例归一化技术对模拟核磁共振（NMR）光谱代谢组学数据集的影响。此外，类似的研究实施了最小-最大值、z分数、小数、中位数和自适应数据归一化技术来提高时间序列预测模型的效率[10]、[11]。然而，传统的归一化技术（如z分数）存在局限性。z分数归一化的一个挑战是它依赖于训练阶段之前的观测数据统计来进行未来观测的归一化，而这些观测数据由于非平稳性或概念漂移可能具有完全不同的幅度[12]、[13]。这些方法的另一个局限性是对异常值的高敏感性、丢失了关于数据原始尺度的信息，以及在处理大型数据集时需要较高的计算能力或资源。例如，在时间序列预测中使用最小-最大值归一化的主要挑战是缺乏对样本外数据集最小和最大值的了解[14]。这促使我们系统地总结了当前在基于DNN的时间序列建模中归一化的使用情况，并对其局限性进行了研究。

**主要贡献**
本研究的主要贡献是探索、分析和研究了用于时间序列环境中训练DNN的归一化技术。这包括提出研究问题并填补文献中的空白。本研究还引入了一种框架和分层归一化技术，有效地将数据调整到所需范围内，从而增强了模型对异常值的抵抗力。本研究的主要贡献如下：
- 对当前用于时间序列预测模型的归一化技术进行了系统回顾，基于实证研究确定了它们的优点和缺点。
- 提出了一种称为自适应序列（adapt-seq）的归一化技术分类法。该方法使用真实世界的限价单簿和心力衰竭临床记录数据集进行了验证，然后将其与基线归一化进行了比较，并分析了其局限性。
- 我们还讨论了克服DNN训练中时间序列归一化问题的挑战和潜在的未来研究方向。

**系统文献综述的其余部分组织结构如下**：
第2节提供了用于时间序列预测的DNN模型的概述。第3节回顾了用于时间序列应用中训练DNN模型的归一化技术。第4节描述了遵循PRISMA 2020指南的系统文献综述方法论。第5节深入分析了本研究中使用的筛选和搜索程序的结果。第6节提出了所提出框架的分类法。第7节详细介绍了所提出归一化方法的实现和验证。第8节讨论了研究结果。第9节讨论了挑战和未来研究方向。最后，第10节提出了结论。

**背景**
本节提供了用于时间序列预测的DNN模型的背景信息，包括在模型训练过程中可以使用的各种归一化技术。

**文献回顾**
现有的用于训练DNN模型的归一化技术（如金融和天气预测中使用的那些）已被应用于时间序列数据[29]、[30]。因此，本研究的目标是确定用于时间序列预测模型的现有归一化技术及其基于实证研究的优点和局限性。此外，本研究还调查了DNN架构与归一化技术之间的关系，以确定...

**方法论**
本系统文献综述（SLR）是根据PRISMA2020声明[43]、[44]进行的。研究筛选和选择过程遵循了Kitchenham[45]建立的标准指南。为了确保全面报告，采用了先前深入研究的结构和方法论[46]、[47]、[48]。图4显示了本研究调查方法部分的SLR映射过程，包括筛选过程中的四个阶段。

**数据综合与分析**
本节旨在将来自包含的研究的数据综合并分析成可视化辅助工具，并解决第4节中提出的研究问题。首先，我们对选定研究组的数据进行了定量描述，并讨论了每个研究问题的答案。图7显示了研究的年度发表数量，在2019年、2022年和2023年略有增加。

**分类法**
本节提出了用于归一化多变量时间序列数据的adapt-seq框架的分类法。我们考虑一组Xi∈Rd×L：i=1,…,N，其中N个时间序列，每个序列由Lequation个测量集（或特征）组成，维度为d。符号xji∈Rd，其中j=1,2,…,L，用于表示第i个时间序列在时间点j观察到的d个特征。我们提出的方法旨在通过系统地调整测量值xjiby来实现最佳归一化。

**实验评估**
本节介绍了所提出归一化方法的详细实现和验证，包括adapt-seq的性能、与最先进技术的比较及其局限性分析。

**讨论**
本节介绍了第4节中提出的研究问题的发现。我们对实证研究的分析表明，已经提出了多种用于时间序列预测的DNN训练的归一化技术。基本的归一化技术，包括最小-最大值缩放和z分数归一化，已被[56]、[60]证明有效，其优势包括核能系统的安全预测、生物力学分析和风速预测。然而...

**挑战与未来研究方向**
如前所述，归一化是DNN学习中的重要预处理步骤，在训练神经网络时提供了多种关键优势。尽管归一化在DNN中的主要好处得到了广泛认可，但由于数据的固有特性，在时间序列数据上应用这些技术仍面临挑战。因此，尽管具有显著优势，但在时间序列环境中开发和适应这些技术仍面临多重挑战。

**结论**
总之，我们提出了一个全面的系统文献综述和用于时间序列数据上训练DNN的归一化技术分类法。我们首先根据制定的研究问题调查和分类了现有的用于时间序列预测的归一化技术。我们在多个数据库中进行了系统搜索，并调查和评估了46项研究以纳入其中。我们还提出了一种称为adapt-seq的归一化技术。

**缩写**
本手稿使用以下缩写：
- **Enhanced-BF**：增强贝叶斯分解
- **BLSTM**：双向长短期记忆
- **CNN**：卷积神经网络
- **DL**：深度学习
- **DNN**：深度神经网络
- **DAIN**：深度自适应输入归一化层
- **DCN**：深度卷积网络
- **DFF**：深度前馈
- **DRL**：深度强化学习
- **DTW**：动态时间弯曲
- **EvoMSN**：进化多尺度归一化
- **FAN**：频率自适应归一化
- **CRedi**：...

**作者贡献声明**
沙姆苏丁·亚当努（Shamsuddeen Adamu）：撰写——审阅与编辑。
阿布巴卡尔·巴拉（Abubakar Bala）：形式分析、概念化。
拉比乌·巴希尔·尤努斯（Rabiu Bashir Yunus）：方法论、概念化。
诺尔沙基拉·阿齐兹（Norshakirah Aziz）：撰写——审阅与编辑、监督、方法论。
希塔姆·阿尔胡萨恩（Hitham Alhussian）：撰写——审阅与编辑、监督、资金获取。
萨拉姆·奥斯曼·法格里（Sallam Osman Fageeri）：可视化、概念化。
赛义德·贾迪德·阿卜杜勒卡迪尔（Said Jadid Abdulkadir）：撰写——审阅与编辑、监督、方法论。
穆贾希德·阿卜杜拉希（Mujaheed Abdullahi）：撰写——原始草稿、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
作者感谢PETRONAS科技大学通过YUTP-FRG（015LC0-487）资助了这项研究。

**代码可用性**
源代码和实验结果可在（https://github.com/mujaheedabdullahi/adative_sequential）获取。

**作者简介**
穆贾希德·阿卜杜拉希（Mujaheed Abdullahi）是IEEE成员，2018年在马来西亚吉隆坡基础设施大学获得信息技术学士学位，2022年在PETRONAS科技大学获得信息技术硕士学位，目前正在该校攻读信息技术博士学位。他是研究生研究助理，研究兴趣包括机器学习、数据分析、网络安全和物联网。