《Array》：A lightweight 1D convolutional neural network for malicious network traffic detection on heterogeneous benchmark datasets
编辑推荐：
随着高级网络威胁的不断涌现，亟需自动化且计算优化的系统以实现大规模网络恶意流量的识别。现有深度学习入侵检测平台通常存在显著的参数开销，且鲜有同时解决高维表格流特征与极端类别不平衡双重挑战的统一框架。研究人员提出了一种一维卷积神经网络(1D CNN)，可直接处理
随着高级网络威胁的不断涌现，亟需自动化且计算优化的系统以实现大规模网络恶意流量的识别。现有深度学习入侵检测平台通常存在显著的参数开销，且鲜有同时解决高维表格流特征与极端类别不平衡双重挑战的统一框架。研究人员提出了一种一维卷积神经网络(1D CNN)，可直接处理表示为向量的表格特征，并将其转换为空间格式化输入。该网络由32和16个滤波器的两层卷积层、全局平均池化(Global Average Pooling)及单个Sigmoid输出节点组成，模型紧凑，适用于资源受限设备的部署。研究采用严格的预处理流程管理数据异质性，包括基于相关性的特征过滤、MinMax缩放和独热编码(One-Hot Encoding)。训练策略融合逆频率类别加权、条件合成少数类过采样(SMOTE)及基于验证集的决策阈值优化，以应对类别不平衡。所提框架在两个标准数据集CSE-CIC-IDS2018和UNSW-NB15上进行测试。二元检测任务中，CSE-CIC-IDS2018的受试者工作特征曲线下面积(ROC-AUC)达0.9782，平衡准确率(Balanced Accuracy)为0.9497；UNSW-NB15的ROC-AUC达0.9990，平衡准确率为0.9967。此外，在CSE-CIC-IDS2018上的补充多分类实验采用小型多层感知机(MLP)，在13种流量类型上实现了95.2%的准确率，宏平均ROC-AUC(Macro-ROC-AUC)为0.9857，可训练参数仅为55,053个，进一步验证了所提预处理与训练策略的通用性。研究结果表明，轻量级卷积网络在网络入侵检测中具有可行性。
该研究针对现代高速网络环境下传统规则匹配与签名式入侵检测系统(IDS)难以应对零日攻击及多态攻击模式的痛点展开。随着企业网络流量激增，基于机器学习和深度学习的流量检测成为必然趋势，但现有方案面临三大核心瓶颈：一是网络流量数据具有高维表格特性，直接套用图像或序列领域的深度架构需复杂的重塑与预处理；二是真实网络环境中流量分布呈极度偏态，良性流量往往比恶意流量高出数个数量级，导致模型虽名义准确率高但对少数类（恶意流量）识别率低；三是实际部署受限于边缘设备或嵌入式安全设备的算力预算，数百万参数的大型架构难以落地。此外，默认0.5的决策阈值在不平衡数据中往往并非最优。鉴于此，研究人员旨在构建一种计算高效且精准的轻量级一维卷积神经网络(1D CNN)检测框架，使其能在高维表格流特征上运行，并在严重类别不平衡下保持高检出率，同时开发一套通用的预处理与训练流水线以适应异构基准数据集。
为开展此项研究，研究人员采用了两个公开的标准基准数据集：加拿大网络安全研究所发布的CSE-CIC-IDS2018数据集（约730万条流记录，含14类标签）和澳大利亚网络安全中心发布的UNSW-NB15数据集（约254万条流记录，含9类攻击）。关键技术方法包括：构建了统一的预处理流水线，涵盖去重、无效值清洗、基于皮尔逊相关系数(Pearson Correlation Coefficient)的特征降维（|r|>0.95时剔除冗余特征）、MinMax归一化及独热编码；设计了轻量级1D CNN架构，包含32和16个滤波器的两层卷积、批归一化(Batch Normalization)、全局平均池化替代全连接层以减少参数量，并引入Dropout正则化；实施了不平衡感知的训练策略，结合逆频率类别加权与条件合成少数类过采样(Conditional SMOTE)（仅当少数类与多数类比例低于0.25且训练样本量小于100万时启用），并利用ReduceLROnPlateau动态调整学习率；创新性地引入了基于验证集的决策阈值优化机制，通过在0.05至0.95范围内搜索最大化平衡准确率的阈值，替代固定的0.5阈值。
研究结果部分，首先展示了模型的训练动态。在CSE-CIC-IDS2018数据集上，训练损失平稳下降，验证损失初期波动后趋于稳定，训练与验证的ROC-AUC均稳步增长且验证集略高于训练集，表明模型判别力强且无显著过拟合。在UNSW-NB15数据集上，损失函数迅速收敛至极低值，AUC曲线在早期即接近完美并保持稳定，显示出极强的可分性与泛化能力。其次，混淆矩阵结果显示，CSE-CIC-IDS2018测试集中真阴性(True Negative)为1,058,091，真阳性(True Positive)为240,864，假阳性(False Positive)较低（7,711），假阴性(False Negative)相对较高（25,241），体现了保守的检测策略；UNSW-NB15测试集则表现出极高的召回率，真阴性200,671，真阳性2,635，假阳性1,072，假阴性仅7，几乎捕获了所有攻击样本。再者，ROC与精确率-召回率(Precision-Recall)曲线分析证实，CSE-CIC-IDS2018的ROC-AUC为0.9780，平均精度(Average Precision, AP)为0.9600；UNSW-NB15的ROC-AUC高达0.9989，AP为0.8848，虽因极度不平衡导致精确率有所下降，但整体攻击检测能力卓越。最后，预测分数分布与阈值调优显示，CSE-CIC-IDS2018的最优阈值为0.68，平衡了精确率与召回率；UNSW-NB15的最优阈值为0.29，侧重于最大化攻击敏感度。
在讨论与结论部分，研究人员指出该轻量级1D CNN框架在保持高检测性能的同时，通过全局平均池化大幅削减了参数量，使其适合部署于资源受限的安全设备。统一的预处理流水线与基于验证集的阈值优化提供了方法论优势，无需针对特定数据集进行大量调整即可复现。研究也存在一定局限，如表格特征的顺序不如时空数据自然，实验主要在静态基准数据集上进行未涉及严格的跨数据集迁移，以及在UNSW-NB15上为了高召回率牺牲了部分精确率。未来的工作将探索加入挤压激励(Squeeze-and-Excitation)注意力模块、利用SHAP或积分梯度(Integrated Gradients)技术增强模型可解释性、引入在线学习应对流量分布漂移，以及构建联邦学习(Federated Learning)架构下的分布式入侵检测系统。该研究发表于《Array》。
