《Expert Systems with Applications》:An Interpretable Intrusion Detection Framework based on Ensemble Neural Networks for Dynamic Network Environments
编辑推荐:
针对传统入侵检测系统在动态网络环境中捕捉复杂非线性特征交互的局限性,本文提出SGPKNET框架,结合GRU和BP网络的双路径特征提取,通过Kolmogorov–Arnold网络实现知识感知的多层次分解,并采用NCODR算法优化维度,DAM-IG提升可解释性。实验表明,该框架在四个数据集上显著提升检测精度与速度,达到100%准确率,且部署高效。
张志强|王海燕|曾丽怡|朱东|李照华|胡荣新|顾照全
哈尔滨工业大学(深圳)计算机科学与技术学院,中国广东省深圳市桃源街518055
摘要
随着网络威胁的日益复杂,网络入侵检测系统(NIDS)已成为现代防御基础设施不可或缺的组成部分。然而,传统的检测范式通常分别处理静态和动态流量特征,往往无法捕捉这些特征之间的复杂和非线性相互作用,导致在动态网络环境中的泛化能力有限。为了解决这一限制,本研究提出了SGPKNET,这是一种可解释的集成神经框架,它结合了双视角表示学习和基于知识的特征融合。具体来说,SGPKNET使用基于门控循环单元(GRU)的分支来编码网络流量序列中的时间依赖性,以及基于反向传播(BP)的分支来建模潜在的属性模式。它们的高维嵌入通过Kolmogorov–Arnold网络(KAN)进行联合优化,从而实现多层次的功能分解和非线性特征交互建模。此外,引入了网络小龙虾优化降维(NCODR)算法来提高区分度并减少非线性约束下的特征冗余。为了提高可解释性,开发了动态自适应多基线集成梯度(DAM-IG)解释器,以识别决策偏差并揭示学习到的表示中的隐蔽攻击行为。在四个基准数据集上的综合实验表明,与现有方法相比,SGPKNET在检测准确性和可解释性方面表现出色,为智能入侵防御系统提供了稳健且透明的基础。
引言
5G和人工智能技术的快速发展从根本上重塑了数字生态系统,同时提高了社会便利性,但也加剧了网络攻击的复杂性和多样性。联网智能设备的爆炸性增长导致网络流量激增,使得从大量、高维和动态演变的数据中进行准确入侵检测变得越来越具有挑战性。
为了应对这些挑战,特征降维已被广泛采用,将冗余的高维流量转换为紧凑且具有区分性的表示,从而降低计算成本并提高检测性能。代表性的研究包括基于PCA的特征选择(Zhao等人,2022年)、基于包装器的过滤策略(Al-Yaseen、Idrees和Almasoudy,2022年)以及基于模拟退火的特征优化(Zhang等人,2024b年)。然而,传统的线性方法受到基于协方差的谱分解的限制,难以捕捉由高阶特征交互引起的非线性依赖性和动态决策边界变化。尽管受生物启发的优化算法具有强大的全局搜索能力,但其有效性往往受到过早收敛、参数敏感性和在高维二进制搜索空间中的巨大计算开销的限制,这些因素共同阻碍了搜索效率。
学术界和工业界都投入了大量研究努力来开发高效和智能的网络入侵检测技术。然而,现有的检测范式,包括集成学习策略,存在固有的架构限制。特别是,大多数现有方法将特征提取限制在单一的抽象层次。例如,顺序集成模型(如长短期记忆(LSTM)网络)主要关注捕获流量实例之间的时间依赖性,而往往忽略了嵌入在网络数据中的静态特征属性的区分能力。相比之下,基于深度架构的集成方法(例如自动编码器)强调从空间表示中学习内在的流量特征,但无法有效建模样本间流量行为的动态时间演变。这些缺陷使得当前系统无法充分表示高维和动态网络环境中攻击行为的复杂特征空间,从而限制了它们在检测复杂和演变威胁(如高度隐蔽的蠕虫传播)时的泛化能力。此外,许多现有方法面临实际部署挑战,包括增加的推理延迟和巨大的计算开销,主要是由于模型复杂性和多个深度子模型的集成。
为了解决上述问题,本文提出了SGPKNET,这是一种专为复杂和动态网络环境设计的先进的多集成神经网络入侵检测框架。该框架的核心创新在于将双层次抽象表示与深度的、基于知识的建模机制相结合。首先,受到Jia等人(Jia, Rao, Wen, & Mirjalili, 2023)提出的小龙虾优化算法的启发,我们开发了网络小龙虾优化和降维(NCODR)方法。这种方法在动态环境中建立了“风险规避-资源探索”机制,将高维特征空间中挖掘非线性结构的任务映射到小龙虾在湍流水生栖息地中寻找最优食物路径的行为。在此基础上,SGPKNET采用了双层互补架构进行深度信息提取。第一层使用可扩展的门控循环单元(GRU)网络捕获输入序列中的时间依赖性,并将其投影到动态丰富的高维特征空间中。第二层利用可扩展的反向传播(BP)网络提取输入的固有属性特征,从静态角度促进深度特征空间表示。这些并行表示随后被输入到最近提出的Kolmogorov–Arnold网络(KAN)(Liu等人,2024年),该网络通过利用其多层次功能分解和非线性基函数组合来进行深度的、基于知识的建模,从而从高维潜在空间中提取区分性信息。最终检测决策是通过GRU–KAN和BP–KAN两条路径输出的门控回归融合得出的。为了提高可解释性和决策透明度,我们进一步引入了改进的动态自适应多基线集成梯度解释器(DAM-IG),为检测结果提供基于属性的解释。通过结合领域专业知识,我们成功识别了SGPKNET在处理高度隐蔽攻击时的错误决策模式。
为了全面评估SGPKNET的有效性和泛化能力,我们采用了相同的SGPKNET架构,并在四个不同的数据集(NSL-KDD、UNSW_NB15、CIC-IDS2017和DDoS Attack SDN)上进行了广泛的实验。实验结果表明,SGPKNET框架在入侵检测准确性和速度方面显著优于现有技术,并且在最后两个数据集上实现了100%的检测准确率。值得注意的是,SGPKNET是一个轻量级且可扩展的框架,可以灵活适应不同的网络环境。在实际部署中,即使只调整学习率和迭代次数,SGPKNET也能始终提供出色的检测性能。
主要贡献本文的主要贡献如下:
•我们提出了一个具有深度知识感知能力的双层次抽象表示架构。该框架使用GRU网络准确捕获流量序列中的时空演变模式,同时利用BP网络提取网络数据的固有属性特征。在框架的核心,KAN模块作为知识引擎,通过其层次化功能分解明确建模动态和静态特征之间的复杂相互作用。这克服了基于神经网络的异构特征融合中常见的表示瓶颈。
•受到小龙虾在湍流水生环境中规避风险和探索资源的行为的启发,我们开发了NCODR方法,这是一种用于高维非线性特征发现的生物启发式智能映射方法。该方法在生物觅食轨迹和特征空间优化之间建立了严格的映射,实现了复杂网络流量特征的有效选择和降维。
•为了提高入侵检测系统的可解释性,我们提出了DAM-IG方法,该方法动态结合了多种基线策略和定量可解释性指标以及特征交互建模。这种方法为基于KAN的网络安全模型提供了统一的可解释性框架,实现了细粒度的归因分析和更透明的决策过程。
•我们在四个基准数据集上进行了广泛的实验来评估我们框架的有效性。实验结果表明,SGPKNET在入侵检测任务的精确度、召回率和F1分数方面显著优于现有技术。值得注意的是,我们在所有四个数据集上使用了相同的SGPKNET架构,进一步证实了其泛化能力。
后续内容结构如下。第2节回顾了入侵检测领域的相关研究。第3节详细介绍了SGPKNET的架构设计及其工作原理。第4节介绍了在四个基准数据集上进行的实验细节和结果。最后,第5节总结了SGPKNET的核心贡献并讨论了未来的发展方向。
相关工作
网络入侵检测系统(NIDS)在保护网络免受恶意入侵方面至关重要,能够实时监控以识别违反安全政策的活动或行为。近几十年来,NIDS方法论已经从基础的模式匹配技术发展到复杂的深度学习方法。本节批判性地回顾了相关文献,以阐述推动我们工作的挑战背景。
提出的方法论
在本节中,我们详细介绍了所提出的网络小龙虾降维(NCODR)技术,以及为入侵检测量身定制的高效、自适应和结构化的多集成神经网络框架(SGPKNET)。
实验数据集
为了能够在同一标准下比较众多现有方法,选定的实验数据必须是开源的,并分为训练集和测试集。符合这些标准的两个最广泛使用的数据集是UNSW-NB15(Moustafa & Slay,2015)和NSL-KDD(Tavallaee, Bagheri, Lu, & Ghorbani,2009)。我们在这些数据集上进行了大量的比较实验,以评估我们提出的SGPKNET框架的有效性。此外,我们
结论
本文提出了SGPKNET,这是一个轻量级、可扩展且可解释的入侵检测框架。该框架采用双层架构设计,能够在两个抽象层次上精确提取原始网络流量中的关键信息,从而显著提高其泛化能力。为了应对网络流量中无关和冗余特征的不利影响,我们引入了网络小龙虾优化降维
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。