保障物联网安全：基于量子密钥分发的轻量级相互认证机制 穆罕默德·纳瓦兹·汗（Muhammad Nawaz Khan） 伊纳姆·乌拉（Inam Ullah） 索琼·李（Sokjoon Lee） 莫辛·沙（Mohsin Shah）

《Future Internet》：Securing the Internet of Things, Lightweight Mutual Authentication Based on Quantum Key Distribution Muhammad Nawaz Khan, Inam Ullah, Sokjoon Lee and Mohsin Shah

　　摘要 物联网（IoT）生态系统的快速增长显著增加了近期的潜在威胁和攻击向量，因此需要高度精确且可扩展的入侵检测机制。本文提出了一种混合入侵检测系统，该系统结合了监督学习和无监督学习方法来检测IoT网络中存在的各种攻击。首先，采用基于随机森林的特征提取方法从高维网络流量数据中确定最重要的特征。之后，利用深度自动编码器（Deep AutoEncoder）模型将这些特征压缩为潜在特征，并将其输入到多个分类器中，以将流量分类为不同类型的IoT攻击和正常流量。具体使用的分类器包括XGBoost、支持向量机（SVM）、逻辑回归（Logistic Regression）、朴素贝叶斯（Naive Bayes）和多层感知器（Multilayer Perceptron）模型。通过多个IoT基准数据集（如N-BaIoT和CICIoT2023）来评估所提出的混合入侵检测系统的性能。实验结果表明，XGBoost分类器的表现优于其他分类器，在N-BaIoT和CICIoT2023数据集上的准确率分别为99.63%和98.94%。以上结果表明，所提出的架构在各种IoT环境中的泛化能力很强。从实验结果可以看出，将深度学习用于特征提取并结合提升技术进行分类，可以开发出高效的入侵检测系统。

1. 引言
随着IoT设备在医疗保健、智能家居、制造业和交通运输等不同行业的持续部署，我们相互连接和自动化任务的方式正在发生变化。由于复杂因素的存在，由于IoT技术的广泛使用，网络安全漏洞的机会也大大增加了[1]。一方面，大多数IoT设备的计算能力有限，并且通常不遵循标准的安全协议，这使它们容易受到僵尸网络攻击、DDoS攻击和未经授权的访问尝试[2]。另一个复杂问题是，传统的入侵检测系统（IDS）是针对传统IT网络设计的，因此不适合于高度动态和资源有限的IoT网络[3]。此外，在IoT网络中使用传统的机器学习建模技术需要花费大量时间手动设计特征；然而，这种方法无法捕捉或准确描述通过整个IoT网络的庞大流量中的复杂关系[4]。
人们越来越关注开发结合无监督深度学习[5]和监督分类方法[6]的混合系统来解决上述问题。与监督分类技术相比，自动编码器在生成输入数据的更紧凑和抽象表示方面表现非常好。然而，XGBoost（一种基于集成学习的分类器）在结构化网络上使用时，其性能始终优于其他分类器[7]。在这项工作中，提出了一种混合入侵检测框架，将基于自动编码器的潜在特征提取与XGBoost结合，用于IoT网络中的多类攻击检测[7]。本研究并不是引入新的算法组件，而是探讨这种混合设计是否能够有效地平衡检测性能[8]、对高维和潜在噪声数据的鲁棒性以及计算效率。自动编码器用于获取网络流量的简洁潜在表示，然后将其作为输入提供给XGBoost分类器，以区分良性活动和恶意活动。
此外，本研究的目的是评估在IoT入侵检测特定情况下，结合无监督表示学习与集成学习的有效性，而不是开发一个新的独立算法。这种设计的动机是在涉及高维和不平衡IoT流量数据的场景中，实现检测精度和计算效率之间的权衡。
为了分析所提出的混合模型的有效性，使用了N-BaIoT和CICIoT2023等多个IoT基准数据集进行了实验。这些数据集包含了IoT网络正常运行和受到攻击时捕获的实际网络流量。在N-BaIoT数据集中，有九个设备的流量记录，涵盖了包括Mirai和Gafgyt在内的各种形式的恶意软件。相比之下，在CICIoT2023数据集中，使用了大规模和复杂的IoT架构进行了多种攻击类型。实验结果表明，所提出的混合模型在检测精度和跨多个攻击类别及正常流量条件的泛化能力方面，达到了或超出了现有方法的水平。此外，深度无监督表示学习和强大的集成分类的结合提高了模型处理高维和潜在不平衡IoT数据的能力。
我们提出的方法利用了传统上分别处理的深度学习和集成学习之间的协同作用。与仅依赖深度学习或集成系统的先前模型不同，我们的集成模型同时使用了深度学习系统和基于树的分类系统（如XGBoost）的规则化机制。因此，我们的方法能够设计出一种高度可扩展和性能优良的系统，在需要实时响应入侵的智能IoT环境中有效运行。

本文的主要贡献如下：
- 提出了一种轻量级的混合入侵检测框架，将基于无监督自动编码器的特征提取与XGBoost结合，用于IoT网络中的多类攻击检测。
- 研究了结合潜在特征表示学习与基于集成学习的有效性，以应对高维和潜在噪声的IoT流量数据。
- 提供了全面的计算效率分析，包括推理延迟和内存占用，强调了该框架适用于实时IoT监控。
- 在包括N-BaIoT和CICIoT2023在内的多个IoT数据集上进行了广泛的实验，证明了所提框架的鲁棒性和泛化能力。

本文的结构如下：第2节回顾了与混合IDS方法相关的工作。第3节详细介绍了所提出的方法论，包括预处理、特征提取和分类。第4节阐述并分析了实验结果。最后，第5节总结了本研究的主要发现，并探讨了进一步研究的潜在方向。

2. 相关工作
随着安全威胁的数量增加到令人担忧的水平，使用机器学习（ML）、深度学习（DL）和类似技术来创建IoT网络的智能入侵检测系统（IDS）的研究也在不断增加[9]。过去，许多原始研究者主要关注开发传统的机器学习分类器，如支持向量机（SVM）、决策树（Decision Trees）和随机森林（Random Forests），以识别基于IoT的流量异常[10,11]。总体而言，这些分类器易于理解和实现，但在高维特征空间或面对动态攻击环境时泛化能力较差。因此，随着IoT技术的进步和复杂性增加，研究人员正转向开发更快、更自动化的入侵检测系统。
通过使用自动编码器（一种深度学习模型[12]来检测IoT安全中的设备特定异常，研究人员发现了改进传统机器学习方法的重大机会[13]。自动编码器可以从高维输入数据中学习有意义的特征，几乎不需要人工干预，特别适合IoT环境。通常，自动编码器在正常流量上进行训练，并模拟被监控设备的正常行为特征。任何偏离这种模式的行为都表明对这些设备发生了攻击，可以由自动编码器检测到。例如，[14]的作者引入了N-BaIoT数据集，并使用深度自动编码器来检测针对IoT设备的设备特定异常，具有高精度识别网络攻击的能力[14]。
[15]的作者提出了一种混合方法，结合了用于提取深度特征的堆叠稀疏自动编码器（SSAE）和XGBoost分类器来检测入侵。他们创建该模型的主要目标是克服未知攻击检测的困难以及网络流量中类别不平衡的问题。实验结果表明，他们提出的模型在相同数据集上的准确率和效率优于其他当前的入侵检测方法[15]。
在分类方面，XGBoost作为一种可扩展的集成学习技术受到了广泛关注，它具有内置的正则性特征，可以在结构化数据上提供更高的准确性[16]。这是由于XGBoost的鲁棒性和其在安全应用（如入侵检测、恶意软件分析和攻击预测）中的效用。除了XGBoost之外，[17]的作者评估了六种专为无线传感器网络（WSN）设计的算法，用于检测网络攻击；这些算法包括GBM、LightGBM、CatBoost、随机森林（Random Forest）和高斯朴素贝叶斯（Gaussian Na?ve Bayes）。使用WSN-DS数据集进行评估，结果显示这些提升算法（特别是LightGBM）在检测准确性方面的准确性最高，误报率最低[17]。
[18]的作者提出了一种优化的混合IDS框架，该框架利用信息增益方法进行特征选择，并使用自动编码器进行降维，同时整合了由XGBoost、Light-GBM和CatBoost分类器组成的分类器集成。使用包含超过1百万条记录的CICIDS2018数据集进行评估，他们的模型在频繁攻击类型（如DDoS）上的准确率超过了99%，召回率至少为80%；然而，在较少见的攻击类型（如僵尸网络攻击或暴力攻击）上的性能显著较低[18]。研究表明，混合架构能够提高可扩展性和模块化，从而增强了其作为实时入侵检测系统的适用性。此外，研究还指出了需要进一步研究以解决类别不平衡和改善罕见攻击类型检测的问题。
深度学习的最新进展产生了结合混合技术的HIDS（混合入侵检测系统），这些系统利用深度学习进行特征提取，并使用监督机器学习进行算法训练。例如，[19]开发了一种新的混合模型，该模型使用自动编码器生成潜在特征，并通过监督学习使用XGBoost识别异常，准确率为97.6%，在Modbus TCP数据中识别异常的F1分数为98.36%[19]。这表明混合模型可能在许多类型的连接设备上具有泛化能力。此外，[20]的作者开发了一种HIDS框架，其中仅从良性数据中学习的低维良性流量特征表示被用作多个ML和DL分类器的输入，以识别异常行为模式[20]。他们的发现进一步证实了使用基于自动编码器的特征学习可以提高IoT环境中的检测精度[20]。
[21]的作者提出了一种混合方法，使用堆叠稀疏自动编码器减少深度特征，并使用LightGBM进行分类。他们的方法在NSL-KDD和Bot-IoT数据集上的特征集减少方面有效率超过80%，准确率超过99%[21]。这表明它适用于可扩展的IDS部署。这进一步支持了使用自动编码器和提升技术的组合可以帮助当前IDS获得高精度和低资源使用的观点。
同时，最近的研究越来越多地探索基于时空特征学习的深度学习架构用于IoT入侵检测。CNN、RNN、LSTM和基于Transformer的模型是构建能够学习变量之间时间依赖性和表示网络流量数据中复杂交互关系的机器学习模型的例子。这些类型的模型已被证明具有良好的检测能力，特别是在流量模式显示出序列或时间依赖性时。然而，这些架构可能会带来较高的计算负担、较大的模型规模以及相对较长的训练和推理时间；因此，它们可能不适合在资源受限或实时的物联网（IoT）环境中使用。相比之下，XGBoost是一个集成模型的例子，其规模比许多其他模型架构要小得多，但在处理结构化表格数据时仍然表现出强大的性能。因此，这激发了进一步探索表示学习与高效集成分类器之间混合使用的兴趣。除了入侵检测解决方案外，文献中也关注了预防性的IoT安全方法，这些方法旨在在漏洞被利用之前发现它们。在这方面，分析了IoT设备在不同层面上的弱点——从设备到协议[22]，特别关注认证阶段和通信。的确，最近的研究考察了与重放攻击或认证滥用相关的问题，以评估IoT设备在面对恶意攻击时的韧性。所提出的方法需要对设备进行主动分析，以发现仅通过被动分析无法轻易识别的潜在安全弱点[23]。虽然这些预防性解决方案可以补充入侵检测系统（IDS）在检测安全风险方面的能力，但当前的研究采用了一种数据驱动的检测策略来评估入侵威胁。

在这些先前工作的基础上，我们的工作通过开发一个适用于IoT环境的混合入侵检测系统，为这一研究方向做出了贡献。所提出的模型结合了自动编码器的能力，从高维且大部分未标记的数据中进行无监督的特征提取，以及XGBoost在多类分类方面的优势。与许多将特征工程和分类视为独立步骤的现有方法不同，所提出的框架利用深度表示学习将高维的IoT流量数据转换为紧凑且有信息量的潜在特征，然后用于精确分类。该模型在多个IoT数据集上进行了评估，包括N-BaIoT和CICIoT2023，并在准确区分不同类型的攻击和良性流量方面表现出高性能。结果表明，所提出的方法在应对IoT入侵检测中的重大挑战方面非常有效，尤其是在多类分类和跨多样化攻击场景的泛化能力方面。

为了进一步了解现有的研究领域，表1总结了IoT入侵和异常检测中的代表性研究，突出了使用的数据集、采用的方法及其关键贡献。表1. 基于机器学习/深度学习的IoT环境中的入侵检测方法比较。

3. 方法论
图1中展示的结构描述了一种混合学习架构，旨在准确识别和检测IoT生态系统中的多种类型的入侵。这一过程从IoT数据集的原始流量摄取开始，包括N-BaIoT和CICIoT2023数据集，然后进行数据预处理阶段，移除重复和不相关的记录，并使用StandardScaler进行特征标准化，以确保所有特征在训练过程中贡献相等。为了确保评估的公平性和一致性，所有数据集都使用相同的预处理和特征提取流程。图1. 所提框架的工作流程。为了应对通常伴随网络行为高级表示学习而来的维度灾难，我们在此过程中使用深度自动编码器进行无监督的特征提取。自动编码器的编码器组件将高维输入压缩成紧凑的潜在表示。解码器随后通过均方误差（MSE）[37]最小化重建损失来重建原始输入。这使得系统能够提取更有信息量的特征，同时忽略或最小化冗余或噪声。接下来，一个多类XGBoost分类器将使用这些编码后的潜在特征。如前所述，XGBoost是一个可扩展和正则化的梯度提升框架，能够学习区分良性流量和十种不同的IoT攻击类别。XGBoost的一个优点是其处理类别不平衡的能力以及学习复杂决策边界的优势，因此它适用于异构的IoT入侵数据。

模型的性能将通过使用标准的分类评估指标来评估，如准确率、精确度、召回率和F1分数。将整体评估分类器的准确性，并分别评估每个类别的准确性。此外，将记录所有分类器的超参数调优，包括所有指标以及分类器性能的可视化表示，并在多种超参数配置下进行评估。

3.1. 数据集描述
本研究使用了N-BaIoT数据集[14]，这是一个广泛认可的基准数据集，用于评估IoT环境中的入侵检测系统。该数据集是通过观察九个消费级IoT设备产生的，其中一些设备处于良性状态，而其他设备处于恶意状态，并且发生了一些监控活动。恶意流量是使用两个广为人知的僵尸网络Mirai和Gafgyt创建的，其中包括十种不同类型的攻击，包括TCP和UDP泛洪、扫描和组合攻击。

数据库中的每个条目包含115个从网络流量中提取的统计特征，这些特征涵盖了关于数据包的长度、到达间隔时间和连接状态（源和目的地）等指标。N-BaIoT数据集支持二元分类（良性 vs. 恶性）和多类分类（十个攻击类别 + 一个良性类别），数据集的评估允许测量细粒度的入侵检测效果。除了超过180万个标记实例外，N-BaIoT还提供了丰富多样性和体量的语料库，适合作为训练和验证真实世界IoT攻击场景中机器学习模型的数据集。数据集的丰富性和体量不仅允许评估检测准确性，还允许评估机器学习模型在其他设备和攻击行为类别上的扩展性和泛化能力。如图2所示，数据集在各种攻击类别之间的分布是偏斜的，这反映了类别之间的重要不平衡。为了应对这种类别不平衡的问题，我们的方法采用了两种过采样技术，如SMOTE，以在训练中保持类别的均衡分布，从而提高泛化能力。图2. N-BaIoT数据集中的攻击类型分布。

此外，为了验证所开发框架的泛化能力，还在CIC IoT数据集2023上进行了实验分析[38]。具体来说，CICIoT2023数据集是一个最新的基准数据集，用于模拟实时IoT网络中的攻击，包含105个互连的设备。该数据集包含33种类型的攻击，分为七组，如DDoS攻击、DoS攻击、侦察攻击、基于Web的攻击、暴力攻击和Mirai攻击。值得注意的是，以上列出的所有攻击都是由攻击同一网络的恶意IoT设备发起的。

在这项研究中，从初始数据集中选择了11种不同类型的攻击子集，以采用更现实的方法，并确保实验设置的计算效率。这样的决策确保了计算复杂性和数据变异性之间的正确平衡。

与N-BaIoT数据集不同，后者包含了在更大规模网络环境中发生的更多种类的攻击。因此，它可以被视为验证所提出解决方案质量的更合适的基准。

3.2. 数据预处理
为了确保特征提取和分类模型在结果中提供更好的准确性和可靠性，从N-BaIoT和CICIoT2023数据集收集的原始数据经过了一些数据处理步骤，以提高数据质量并避免建模过程中的任何偏见。为了公平比较，这两个数据集都使用了相同的数据处理流程。首先，找到并删除了数据集中的重复记录。在N-BaIoT数据集的情况下，删除这些重复记录后，数据集的大小从1,854,174条减少到了1,531,807条。使用StandardScaler标准化方法将所有特征的中心化和缩放到单位方差，使所有特征在训练过程中的贡献相等。为了平衡数据集，因为存在类别不平衡，使用了SMOTE技术（合成少数过采样技术）[39]从训练集中的少数类别生成额外的数据实例。下表2显示了在N-BaIoT数据集上使用SMOTE技术之前的和之后的类别分布。对于CICIoT2023数据集也使用了类似的技术。表2. 应用SMOTE技术之前和之后的类别分布。为了直观展示SMOTE技术[39]的影响，图3显示了过采样前后的类别分布。原始数据集在类别之间显示出显著的不平衡，而在应用SMOTE后，这种不平衡得到了有效缓解，导致分布更加均匀。图3. 应用SMOTE之前和之后的类别分布可视化。

为了检测特征之间的线性依赖关系以及它们内部的潜在冗余，对标准化后的特征集进行了皮尔逊相关性分析。在处理IoT流量特征的多维空间时，这一步非常重要，因为特征集中的多重共线性可能会对模型的稳定性和分类性能产生不利影响。图4展示了特征集的相关性矩阵，其中显示了高度正相关和负相关的特征。高度正相关表明数据集中存在一些冗余特征，尤其是在从不同传感器获得的相似行为测量中。另一方面，负相关对（蓝色）显示了流量特征之间的反向关联，从而有助于区分良性流量和恶意流量。图4. N-BaIoT数据集中的特征相关性热图。

根据上述发现，使用自动编码器在本工作中似乎是合理的，因为自动编码器能够将非线性关系编码到模型的潜在空间中。通过去除冗余信息的同时保留必要的信息，自动编码器提高了下游分类器（如XGBoost）的性能。

3.3. 特征选择
为了提高输入数据的质量并避免初始特征空间中的冗余，在提取深度特征之前进行了特征选择预处理[40]。由于使用了大量与网络活动相关的统计特征来描述IoT设备，网络流量数据集通常具有高维度。尽管这种表示提供了有价值的信息，但它也可能包含一些冗余和不相关的元素，从而影响分类准确性。在当前的研究中，使用了两个高维的IoT网络流量数据集，即N-BaIoT和CICIoT2023。使用数据集提供的所有特征可能会因噪声的存在和维度的增加而使算法的训练过程变得复杂。这个问题通过基于随机森林的方法来确定特征的重要性[41]得到了解决。使用随机森林的思想是基于选定的特征构建多个决策树来分类数据样本。特征重要性是根据平均降低不纯度指标来衡量的。随机森林算法是使用通过SMOTE方法平衡后的训练数据集应用的，以避免在确定特征重要性时偏向于多数类别。确定了所有特征的重要性，并选择了20个最重要的特征。选择20个特征是基于对重要性分布的实证分析。观察到一小部分排名较高的特征捕获了大部分的判别信息，同时显著降低了输入空间的维度。增加选定特征的数量并没有带来明显的性能提升，而减少特征数量则导致分类准确性下降。

图5展示了选定特征的重要性排序。这种选择减少了特征空间的维度，同时保留了网络流量的最相关特征。然后，这些选定的特征被用作自动编码器的输入，自动编码器进一步提取出紧凑的潜在表示用于分类。图5. 随机森林识别出的前20个重要特征。通过结合特征选择和深度特征提取，所提出的框架在降低噪声和冗余的同时，提高了计算效率和整体检测性能，适用于物联网（IoT）入侵检测任务。类似的特征选择过程也被应用于CICIoT2023数据集，证实了少量的顶级特征就足以保留不同IoT数据集中最具区分性的信息。

3.4 特征提取
在完成特征选择后，将使用深度自编码器网络进行无监督学习以提取新特征。自编码器将使用特征选择阶段生成的减少后的特征数量，选择最重要的20个特征。这一点很重要，因为选定的特征子集将消除一些冗余特征，从而简化自编码器的任务，而不会增加计算复杂性。
IoT网络中的网络流量通常呈现出高维的特征空间，特征之间的关系复杂；因此，有必要学习数据的压缩潜在表示，以减少计算复杂性，同时保留网络流量行为的相关特征。
在我们的研究中，将使用深度自编码器来压缩从N-BaIoT和CICIoT2023数据集中学习到的网络流量特征。自编码器是一种神经网络，它学习数据的压缩高效编码以便重建输入数据；这种架构有助于学习非线性关系并减少数据特征的维度。
从自编码器获得的潜在变量表示有助于提高特征表示的质量，从而提升后续分类器（如XGBoost）的性能。

自编码器架构：
自编码器由两个主要部分组成：
编码器：通过一系列全连接层将高维输入映射到简洁的潜在表示。在我们的架构中，编码器包含三个隐藏层，分别有64、32和16个神经元，使用ReLU激活函数。这种设计使模型能够捕获数据中的非线性依赖性和抽象模式。
解码器：使用具有两个隐藏层（32和64个神经元）的对称结构从编码表示中重建原始输入，然后是一个与原始115维输入大小匹配的线性输出层。这种对称性确保模型学习到的嵌入空间与重建目标一致。

训练细节：
自编码器经过无监督训练，以减少输入与其重建之间的均方误差（MSE）。采用了Adam优化器，学习率为0.001，并通过5个epoch的耐心设置实现了提前停止，以减轻过拟合。模型训练最多进行50个epoch，批次大小为256。训练完成后，我们仅保留了自编码器的编码器组件，将原始特征向量转换为潜在表示。处理后的低维嵌入保持了原始输入数据的基本特性，作为多类入侵检测任务中分类器的输入。这种结合深度无监督学习和监督分类器的过程，是利用两种方法的最佳优点，作为高维、不平衡IoT数据集的可扩展和准确解决方案。

3.5 多类分类
下一步是评估几种不同的机器学习分类算法，以确定最适合多类入侵检测问题的方法。本文考虑的分类器包括以下几种：逻辑回归（LR）、朴素贝叶斯（NB）、支持向量机（SVM）、XGBoost和多层感知器（MLP）。
LR作为第一个基准分类器，因为它简单易懂。该算法使用L2正则化和lbfgs求解器在训练数据上进行了训练。收敛的最大迭代次数设置为1000。
NB基于特征独立性的假设被选中。它通过高斯朴素贝叶斯算法实现，可以作为比较的良好的基线模型。
SVM作为第二个基于非线性边际的分类器，能够捕捉编码特征之间的更复杂关系。
此外，还使用了多层感知器（MLP）作为基于深度学习的分类器，在潜在特征空间上操作。MLP架构包括三个全连接层，分别有128、64和32个神经元，每个层后面都跟着ReLU激活函数。为了减轻过拟合，在层之间应用了0.3和0.2的Dropout正则化。输出层使用softmax激活函数进行多类分类。模型使用Adam优化器进行训练，损失函数为分类交叉熵，批次大小为256，训练最多进行50个epoch，并通过5个epoch的耐心设置实现了提前停止，以减轻过拟合。
最后，XGBoost（极端梯度提升）被用作基于树的集成学习算法，因其在对结构化数据上的强大性能而闻名。模型使用100个估计器进行训练，学习率为0.1，最大深度为5。所有分类器都使用自编码器生成的潜在特征表示进行训练，以确保公平比较。

3.6 评估指标
为了正确有效地评估所提出的入侵检测模型的有效性，我们选择了一些适用于分类问题的评估参数，这些参数包括准确率、精确度、召回率和F1分数。这些评估参数将让我们大致了解入侵检测模型在正确分类不同类型入侵和正常流量方面的有效性。
准确率量化了所有类别中正确预测实例的整体比例，提供了分类成功的一般指示。
精确度表示正确检测到的攻击实例与预期为攻击的总实例之间的比率，表明了分类器在减少误报方面的可靠性。
召回率衡量成功检测到的真实攻击实例的比例，突出了模型在捕获威胁方面的完整性。
F1分数提供了一个平衡精确度和召回率的度量，同时代表了这两个指标，因此在处理价值不平衡时特别有用。

3.7 提出模型的分析性论证
将自编码器与XGBoost分类器结合的理由基于无监督表示学习和监督梯度提升决策树的互补优势。
使用自编码器进行降维：高维的IoT流量数据可能包含冗余或噪声特征，这些特征会阻碍传统分类器的性能。自编码器将输入空间压缩成低维的潜在表示，从而在保留重要结构的同时减少原始数据的维度并消除噪声。这是通过最小化重建损失函数来实现的，该函数量化了原始输入x与其重建之间的差异。
通过XGBoost进行类别可区分性：选择XGBoost是因为它能够建模非线性关系并有效处理多类分类。它构建了一个弱学习器的集成，优化以下目标函数：
其中l是损失函数（例如，多类分类的softmax），是控制过拟合的正则化项。
组件的互补性：首先通过自编码器从原始流量中提取出鲁棒、去噪声的特征，从而减轻了分类器进行噪声过滤和分类的负担。下游的XGBoost模型因此受益于改进的特征可分离性，从而提高了预测性能。
对类别不平衡的鲁棒性：自编码器学习与类别分布无关的全局表示，而XGBoost通过定制的损失函数有效处理不平衡数据。这使得混合架构适用于正常流量占主导的入侵检测。
计算效率：在分类之前降低维度可以减少训练和推理过程中的操作数量和内存消耗——这是资源受限的IoT边缘环境部署的必要要求。

4 结果与讨论
使用多个IoT数据集评估了所提出的入侵检测框架的有效性，包括N-BaIoT和CICIoT2023数据集，这些数据集包含了在正常和恶意场景下由多个IoT设备生成的网络流量。此外，使用SMOTE方法解决了IoT数据集中常见的类别不平衡问题，确保了所有攻击类别在训练阶段得到充分表示。然而，在训练阶段之前，数据集首先使用StandardScaler方法进行了标准化。
所有实验都在配备了Intel Core i7处理器、16 GB RAM和64位操作系统的机器上执行。训练和评估期间没有使用GPU加速。报告的计算指标（包括训练时间和推理延迟）取决于这种硬件配置，主要用于评估模型之间的相对比较。
在预处理阶段之后，提出的基于随机森林的方法被用来从网络流量中提取的115个特征中选择最相关的特征。根据计算出的值，确定了最重要的20个特征，然后将其作为输入用于深度自编码器，以使用提取的特征进行无监督特征提取。
为了确定入侵检测问题的最佳分类器，使用了不同的机器学习模型进行测试，包括逻辑回归、朴素贝叶斯、SVM和XGBoost。值得一提的是，所有分类器都在相同的条件下进行评估，以便进行公平比较。
图6展示了所有分类器的性能指标的比较概览，包括准确率、精确度和F1分数。如图6所示，XGBoost在所有评估指标上均优于所有分类器，表明其在有效建模IoT网络中的复杂模式方面的能力。表3总结了所有分类器的分类性能结果。从表3中可以清楚地看到，XGBoost的准确率显著高于本研究中使用的其他分类器。XGBoost的准确率、精确度、召回率和F1分数分别为99.63%、99.64%、99.63%和99.63%，显示出它在学习或拟合复杂模式方面的有效性。多层感知器（MLP）分类器也展示了有竞争力的性能，准确率为91.97%，精确度为95.16%，召回率为91.97%，F1分数为89.62%。虽然MLP能够在潜在特征空间内建模非线性关系，但其性能仍低于XGBoost，这表明基于树的集成方法在这种情况下对于结构化的IoT流量表示更为有效。
另一方面，支持向量机分类器的准确率为89.74%，精确度为94.40%，召回率为89.74%，F1分数为87.22%。尽管SVM在本研究中获得了更高的精确度，但其整体性能低于XGBoost，因为SVM难以在IoT网络中建模复杂的多类模式。
逻辑回归模型的准确率为86.93%，精确度为83.48%，召回率为86.93%，F1分数为84.45%。作为线性分类器，逻辑回归在识别特征之间的非线性相关性方面受到限制，这解释了其相对于基于树的集成方法较低的性能。
朴素贝叶斯分类器在评估模型中的表现最低，准确率为71.02%，F1分数为66.87%。这个结果可以归因于朴素贝叶斯中固有的强独立性假设，这在复杂的网络流量数据中很少成立，因为多个特征以非线性方式相互作用。
进行了消融研究，以确定自编码器的影响，即仅使用选定的特征训练XGBoost分类器而不使用自编码器。
XGBoost在准确率、精确度和F1分数方面表现良好，分别得到了98.76%、98.75%、98.76%和98.76%的分数。然而，添加自编码器后，所有这些指标都提高到了99.63%。
这些改进表明，使用自编码器进行更好的特征表示，通过减少非线性和冗余，可以在一定程度上提高模型的性能。这意味着尽管收益不是非常显著，但学到的潜在特征仍然有助于提高模型的检测能力。根据研究发现，将自编码器作为特征提取的一部分，并结合XGBoost作为分类器，被证明是物联网（IoT）系统中入侵检测的有效方法。使用自编码器能够获得简洁且相关的数据表示，然后由集成机器学习算法XGBoost进行分析。额外的消融测试表明，尽管单独使用XGBoost的效率很高，但与自编码器结合使用可以提高入侵检测的效率。为了更深入地了解所提出模型的分类行为，对完整的混淆矩阵进行了分析。图7中的混淆矩阵展示了使用测试数据预测的所有类别之间的值，显示了混合入侵检测模型在预测攻击类型和良性流量方面的能力。混淆矩阵中的结果显示了该模型在准确分类方面的总体有效性；显然，大多数结果与混淆矩阵的对角线一致。这种混合入侵检测模型能够以近乎完美的准确率区分良性流量和恶意流量，这对于任何入侵检测系统来说都是一个关键属性。这种能力可以减少警报疲劳，并在实际环境中提高系统的运行效率。混淆矩阵还证明了其在检测多种攻击类别（mirai_syn、gafgyt_udp和mirai_scan）方面的出色性能，这些攻击类别与物联网设备相关，且表现出高准确率和很小的重叠。这表明模型能够检测到与各种类型攻击导致的网络行为变化相关的复杂模式。然而，在具有共同流量模式的攻击类别之间观察到了轻微的混淆，例如mirai_udp和mirai_udpplain这类攻击。这些攻击类别经常共享相同的数据包格式和时间传输模式，使得高级模型难以区分它们。这些攻击类别之间的少量误分类也为未来使用基于注意力的模型或特征增强进一步改进这些攻击类别提供了途径。总体而言，从混淆矩阵获得的结果证实了所提出的结论：该模型具有进行精细多类区分的能力，并且误分类率较低，这对于需要高准确性和可解释性的物联网入侵检测系统至关重要。整体分类性能表明了所提出框架的有效性。然而，对所提模型的类别级别评估将提供关于其在区分不同类型攻击方面的有效性的更多见解。表4展示了使用XGBoost分类器对流量数据的不同类别进行的类别级别评估指标。从提供的结果来看，该框架在几乎所有流量类别上都能取得高性能。特别是，“mirai_syn”和“mirai_udpplain”类型的攻击在精确度、召回率和F1分数上获得了最佳性能。这是因为这些攻击类型具有可以通过学习到的表示来捕获的独特特征。此外，“gafgyt_udp”、“miraiAck”和“mirai_scan”类型的攻击也几乎实现了完美的检测率，F1分数超过99.9%。在检测良性流量方面也表现良好，精确度为100%，召回率为99.77%。这在入侵检测系统中非常重要，因为它有助于减少误报。少数类别的表现略低。例如，gafgyt_combo的F1分数为97.70%，这是由于其流量行为与其他Gafgyt攻击相似。总体而言，所提出的混合框架在准确检测良性流量以及不同类型的物联网攻击方面的性能已经得到验证。研究发现证明了所提出方法在准确检测不同类型攻击的标识性流量模式方面的有效性，该方法结合了特征选择、基于自编码器的特征提取和使用XGBoost进行分类的过程。除了观察分类准确性之外，评估入侵检测模型的另一个重要指标是在资源受限环境（如物联网）中的计算效率。除了入侵检测模型实时检测入侵的能力之外，它还显著影响使用多少内存、执行预测所需的时间以及训练所需的时间。随着部署可能发生在边缘部署或处理能力有限的设备上，这四个指标变得越来越重要。表5显示了四种机器学习分类器（XGBoost、逻辑回归、朴素贝叶斯、SVM和MLP）之间的比较结果以及它们的计算开销。XGBoost模型的计算成本分布均匀，模型大小为1.68 MB，执行时间为20.08秒，每个测试样本的预测时间仅为0.0189毫秒。这使得XGBoost非常适合实时入侵检测，因为该算法能够在不牺牲预测性能的情况下实现非常高的精确度。使用决策树和提升方法有助于XGBoost捕捉结构化物联网数据中的潜在关系。多层感知器（MLP）具有中等计算效率，模型大小为0.073 MB，处理时间为1.81秒，每个样本的平均预测延迟为0.0592毫秒。尽管MLP相对较轻量且训练速度比更复杂的深度学习模型快，但其推理延迟高于XGBoost，且在本研究中的整体检测性能较低。逻辑回归在消耗计算机内存方面非常高效，因为其模型体积较小（0.002 MB），并且该算法的推理延迟非常低（0.0007毫秒）。另一方面，逻辑回归的训练周期很长（132.03秒），因此对于频繁变化的环境来说效率较低。朴素贝叶斯在所有考虑的算法中具有最低的计算复杂度。它的模型体积较小（0.0036 MB），处理时间较短（0.13秒），预测延迟相对较低（0.00665毫秒）。由此可见，朴素贝叶斯适用于资源受限的环境，但在检测方面表现不佳。SVM具有最高的计算开销，模型大小为21.15 MB，处理时间较长（416.05秒），每个样本的预测延迟非常高（11.793毫秒）。这主要是由于建模非线性决策边界所需的基于内核的计算。因此，SVM不太适合需要低延迟的物联网环境中的实时入侵检测。为了评估所提出方法的泛化能力，使用了CICIoT2023数据集进行了进一步测试。值得一提的是，这个数据集代表的攻击类型比之前使用的N-BaIoT数据集更加多样化和复杂，因此这个测试案例提供了关于创建模型鲁棒性的可靠结果。分析显示，所提出的AE + XGBoost分类器的准确率达到98.94%。此外，还实现了高精确度、召回率和F1分数。如下所示，该模型在应用于具有不同特征的其他数据集时仍保持了高效性。应当注意的是，在类别测试中获得了高数值，所有类别的F1分数均超过0.90。由于某些攻击之间的复杂性和相似性，可能会出现一些性能变化。总体而言，这些发现表明了所提出框架的鲁棒性和高泛化潜力。要了解所提出的入侵检测模型的分类过程详情，需要分析其混淆矩阵。图7中的混淆矩阵展示了测试数据集上所有预测的类别间值，并揭示了攻击检测的效率。为了评估所提出的混合模型是否比在N-BaIoT数据集上评估的现有最先进方法更有效，我们使用相同的数据集与其他类似方法进行了比较。表6展示了来自先前研究（BiLSTM-CNN [42]、FL-CNN [43]、AE + RF [44]和DNN [45]）的关键性能指标，结果表明我们的模型在用于评估它们的每个指标上都超过了所有其他竞争者，显示出在分类准确性、精确度、召回率和F1分数方面的优越性能。此外，这种比较进一步支持了我们的方法在物联网网络环境中成功抵御不同类型攻击的能力以及良好的泛化能力。对于实际的物联网入侵检测来说，考虑所提出模型的部署位置和方式非常重要。由于许多物联网终端设备的计算资源受限，AutoBoost-IoT框架并不适合直接在单个传感器或嵌入式设备上运行。相反，它更适合在物联网网关、边缘服务器或具有足够计算资源的云辅助监控层上进行部署。在正常的部署过程中，物联网设备生成的数据将首先在边缘节点或网关节点收集。提取的数据将使用预训练的自编码器进行分析，以创建用于通过XGBoost算法进行分类的潜在表示。为了确保未来的持续性能，应包括性能监控技术来测量检测精确度、误报和类别结果等参数。随着网络行为的变化（称为概念漂移），算法的性能可能会受到影响。因此，必须使用新数据定期重新训练模型。训练阶段可以使用先进的计算资源离线执行。一旦训练完成，新的模型可以上传到监控节点。总体而言，这种部署策略允许所提出的框架在现实世界的物联网环境中平衡检测性能、计算效率和实际可行性。5. 结论和未来研究方向在这项研究中，通过结合基于自编码器的无监督特征学习和XGBoost的多类分类，开发了一个用于物联网网络的混合入侵检测框架。自编码器能够将高维网络流量转换为紧凑的潜在表示，同时保持基本的行为特征，从而降低了输入维度。这些潜在特征随后被XGBoost分类器用来有效区分良性流量和多种攻击类型。使用多个物联网数据集（如N-BaIoT和CICIoT2023）分析了所提出框架的有效性。结果显示，在N-BaIoT和CICIoT2023数据集上的准确率分别达到了99.63%和98.94%。此外，还观察到了良好的精确度、召回率和F1分数等指标，表明了该模型的优秀性能。这一事实突显了该模型对于不同物联网设备的可靠性和泛化能力。推理延迟分析和内存开销的测量证明了该模型在资源有限的情况下适用于实时物联网威胁检测的低重量和适用性。此外，从效率的角度来看，使用所提出的混合方法是合理的，因为它与计算成本较高的复杂神经网络架构相比表现更好。未来，使用XAI方法开发该模型、应用在线学习算法并在现实世界的分布式环境中测试该模型可能是有益的。