基于梯度提升树集成(Gradient-Boosting Tree Ensembles)与相关-差分进化(Correlation–Differential Evolution, Corr-DE)特征选择的安卓恶意软件混合智能检测方法

《Information》：Hybrid Intelligent Detection Approach for Android Malware Using Gradient-Boosting Tree Ensembles and Correlation–Differential Evolution Feature Selection

　　

摘要：Android应用程序的快速增长导致网络犯罪分子制造和分发恶意应用的数量大幅上升。现有Android恶意软件检测工具和应用程序多依赖传统的基于签名(signature-based)的方法，无法有效检测最新或零日(zero-day) Android恶意软件。为此，研究人员探索更先进的智能技术以克服传统签名检测的固有局限。然而，在资源受限的移动环境中，使用大量特征的智能机器学习(ML)技术进行训练资源消耗大且耗时。本文提出一种新颖的Android恶意软件混合智能检测方法，将两阶段相关-差分进化特征选择(Corr-DE)与梯度提升树集成——包括轻量梯度提升机(Light Gradient Boosting Machine, LightGBM)和极端梯度提升树(eXtreme Gradient Boosting, XGBoost)相融合。第一阶段采用基于相关性(correlation-based)的过滤式(filter)方法，通过选取前30%最具相关性的静态和动态特征来降低特征冗余；第二阶段利用差分进化(Differential Evolution, DE)确定最有区分度的特征子集，从而提升检测性能。随后，研究人员使用最优特征有效训练LightGBM和XGBoost，以最大化Android恶意软件检测性能。实验结果表明，采用Corr-DE特征选择的LightGBM和XGBoost均实现了高水平的Android恶意软件检测，总体准确率(accuracy)分别达95.78%和95.51%；同时Corr-DE使特征空间大幅缩减83%（从420个特征减至72个特征）。

论文解读：基于Corr-DE特征选择与梯度提升树集成的Android恶意软件混合智能检测方法

本文发表于《Information》期刊。随着Android应用爆发式增长，恶意软件亦随之激增，传统基于签名(signature-based)的检测方法仅能识别已知威胁，难以应对零日(zero-day)及经混淆(obfuscation)或动态加载代码的变种恶意软件。单纯采用机器学习(ML)检测虽可缓解此问题，但若直接使用高维静态与动态特征集，会带来巨大计算开销，不利于资源受限的移动环境部署。此外，仅依赖静态分析(static analysis)无法捕获运行时行为，易被高级规避技术绕过；仅依赖动态分析(dynamic analysis)则成本高、覆盖率有限。针对上述问题，研究人员提出了一种结合两阶段混合特征选择(Correlation–Differential Evolution, Corr-DE)与梯度提升树集成(LightGBM、XGBoost)的Android恶意软件混合智能检测方案，并通过公开数据集验证其有效性。

主要关键技术方法：

研究人员选用Intel Security(McAfee Labs)提供的DL-Droid数据集（共31,124个应用，含19,618个良性应用与11,506个恶意应用），提取300项权限(permission)静态特征及120项API调用/意图(intent)/行为事件动态特征，共计420维二进制特征。采用两阶段Corr-DE特征选择：先用皮尔逊(Pearson)相关系数滤除弱相关特征，保留前30%（126维），再由差分进化(Differential Evolution, DE)作为封装式(wrapper)方法进行全局最优特征子集搜索，最终得72维特征。使用分层(stratified) 5折交叉验证训练并评估轻量梯度提升机(LightGBM)与极端梯度提升树(XGBoost)，并以准确率(Accuracy)、召回率(Recall/True Positive Rate, TPR)、真负率(True Negative Rate, TNR/Specificity)、精确率(Precision)、F1值(F1-score)及受试者工作特征曲线下面积(Area Under ROC Curve, AUC)等指标量化性能，辅以Wilcoxon符号秩检验判定统计显著性。

研究结果：

4.1. Experimental Environment and Settings

研究人员在Windows 10、Intel i7-1165G7、16GB RAM环境下基于Python 3.9实现。Pearson相关滤波保留前30%特征，DE种群规模(population size)=30、变异因子(mutation factor, F)=0.5、交叉率(crossover rate, CR)=0.7，LightGBM与XGBoost经试错法调参后固定随机种子确保可复现。

4.2. Performance of Proposed Hybrid Gradient-Boosting Tree Ensembles Based on Corr-DE Feature Selection Approach

LightGBM与XGBoost在仅使用Corr-DE筛选出的72个特征时，分别取得95.78%和95.51%的总体准确率；恶意软件召回率(recall)分别为92.14%和91.34%，真负率(TNR)分别为97.91%和97.96%，精确率分别为96.27%和96.32%，F1值分别为94.16%和93.77%，AUC分别为0.9503和0.9465。Wilcoxon检验(p<0.001)表明LightGBM与XGBoost性能差异具统计显著性，LightGBM略优，二者标准差低，说明模型稳定。

4.3. Performance Comparison of XGBoost with LightGBM Before and After Applying Proposed Corr-DE Feature Selection

全特征(420维)基线LightGBM与XGBoost准确率分别为93.30%和94.04%；仅用Pearson相关过滤(126维)时性能持平或微升；单独DE选择(约220–240维)亦带来改善但未大幅降维。Corr-DE两阶段选择(72维)相较全特征，LightGBM准确率提升2.48%、召回率提升4.13%、F1提升3.49%、AUC提升2.81%；XGBoost相应提升1.40%、2.40%、1.99%、1.61%。Wilcoxon检验(p<0.001)与较大效应量(Cohen's d>0.8)证实改进显著且具实用价值，且特异性(TNR)未明显下降。

4.4. Impact of Proposed Corr-DE Feature Selection on Performance of Common Machine Learning

Corr-DE特征选择同样提升了支持向量机(Support Vector Machine, SVM)、朴素贝叶斯(Na?ve Bayes, NB)、决策树(Decision Tree, DT)、随机森林(Random Forest, RF)、K近邻(K-Nearest Neighbors, kNN)及卷积神经网络(Convolutional Neural Network, CNN)等常用分类器的性能——例如SVM准确率由79.43%升至94.40%，NB由极端不平衡(高recall低TNR)趋于平衡。梯度提升树仍取得最佳综合指标，证明Corr-DE去除冗余噪声后尤其适合与集成树模型配合。

4.5. Analysis of Computational Time Complexity

Corr-DE整体时间复杂度近似O(N·D + G·P·T·d·C_{LightGBM/XGBoost})，其中N为样本数、D为原始特征数、d(=72)<< />_{LightGBM/XGBoost}为单棵树训练代价。首阶段Pearson过滤O(N·D)远小于DE迭代评估代价，先降维使DE搜索空间大幅缩小，提升收敛速度。

4.6. Analysis of Inference Efficiency and Resource Consumption

推理阶段LightGBM单样本平均延迟0.6554 ms、XGBoost为3.0525 ms；批量预测时间分别为0.1085 s与0.0982 s；模型文件大小分别为约2.02 MB与1.69 MB；峰值内存占用分别为约25.65 MB与0.41 MB。特征降至72维直接降低了计算复杂度和内存需求，利于实际部署。

4.7. Comparison of Proposed Approach Against Existing Metaheuristic Feature Selection Methods

与已有基于遗传算法(Genetic Algorithm, GA)、粒子群优化(Particle Swarm Optimization, PSO)、人工水母搜索(Artificial Jellyfish Search, JS)、秃鹰搜索(Bald Eagle Search, BES)等元启发式(metaheuristic)特征选择的Android恶意软件检测研究相比，本文Corr-DE+LightGBM/XGBoost在准确率(95.78%/95.51%)与特征压缩率(83%)上具竞争力；部分深度学习方法(如Rock Hyrax Swarm Optimization结合自编码器或BERT–PSO)虽略高但计算资源消耗大。Corr-DE因预过滤阶段显著降低元启发式搜索开销。

讨论与结论翻译：

多数常用机器学习分类器在全420维含冗余特征下表现欠佳；仅Pearson相关过滤轻微改善；而所提Corr-DE混合特征选择有效消除无关与冗余特征并考虑特征间交互作用，显著提升各类分类器特别是梯度提升树集成的检测性能——LightGBM与XGBoost在特征空间缩减83%前提下分别达95.78%与95.51%准确率，且维持高TNR(≥97.15%)。采用重复分层5折交叉验证、内置正则化及降维预处理可控制过拟合风险。引入动态特征使模型较纯静态分析更能应对代码混淆及仅运行时显现恶意行为的恶意软件。Corr-DE中首阶段相关过滤使DE在较低维度封装搜索，计算效率优于直接在高维空间运行元启发式算法。特征选择阶段设计为离线训练完成，最终精简模型可部署于移动端做轻量推理。未来工作将探索系统化超参数寻优、对抗样本鲁棒性评估、跨数据集与时序泛化验证及增量/在线学习扩展。

结论：本文提出一种创新的Android恶意软件混合智能检测方法，利用Corr-DE两阶段特征选择（Pearson相关过滤剔除弱相关特征继以差分进化封装优化）结合XGBoost与LightGBM梯度提升树集成。实验表明该方法在将特征空间缩减83%（420→72）的同时，LightGBM与XGBoost分别取得95.78%和95.51%的检测准确率，优于大多数既有元启发式特征选择方法，在检测精度与特征降维间实现良好平衡，适合后续轻量级部署。