《Electronics》：A Predictive–Prescriptive Framework for HPC Storage Maintenance via Explainable Artificial Intelligence
编辑推荐：
摘要：随着高性能计算（High-Performance Computing, HPC）架构向E级（Exascale）演进，存储基础设施可靠性已成为关键运维挑战，传统的被动式及静态预防性维护策略日益不足。本研究提出一种全面方法论框架，推动大规模存储环境从预测性维
摘要：随着高性能计算（High-Performance Computing, HPC）架构向E级（Exascale）演进，存储基础设施可靠性已成为关键运维挑战，传统的被动式及静态预防性维护策略日益不足。本研究提出一种全面方法论框架，推动大规模存储环境从预测性维护（Predictive Maintenance, PdM）向预测-规范性维护（Predictive-Prescriptive Maintenance）转型。通过整合跨行业数据挖掘标准流程（Cross-Industry Standard Process for Data Mining, CRISP-DM）与多层可解释人工智能（eXplainable Artificial Intelligence, XAI）套件，研究人员构建了能在海量常规遥测数据中隔离硬件退化信号的系统。为验证该方法，研究人员利用公开磁盘故障数据集评估多种机器学习（Machine Learning, ML）配置，通过优化过采样与梯度提升（Gradient Boosting）算法解决严重类别不平衡问题。该研究采用全局与局部XAI技术——包括排列特征重要性（Permutation Feature Importance, PFI）、SHAP（SHapley Additive exPlanations）及代理决策树（Surrogate Decision Trees）——将概率风险评估转化为可审计的硬件工程规则。结果表明，稳健预测建模与多层可解释性的融合可提供透明、循证决策支持系统。将不透明的风险预测转化为技术依据，能使基础设施管理人员优化硬件生命周期管理并在关键任务环境中最小化系统中断，为构建更具弹性且可审计的存储管理提供可行路径。
论文解读：《A Predictive–Prescriptive Framework for HPC Storage Maintenance via Explainable Artificial Intelligence》
一、研究背景与意义
随着高性能计算（High-Performance Computing, HPC）系统向E级（Exascale）发展，存储子系统因持续高负载成为I/O瓶颈及机械/逻辑故障高发区。传统维护依赖事后修复（Reactive Maintenance）或基于厂商静态告警的预防维护（Preventive Maintenance），前者导致不可接受宕机，后者造成功能完好硬件过早更换。虽有机器学习（Machine Learning, ML）支持的预测性维护（Predictive Maintenance, PdM）尝试，但面临两重障碍：一是遥测数据存在极端类别不平衡（Failure为稀有类）；二是高性能模型多为黑箱（Black Box），缺乏透明度使管理员无法据以执行节点隔离或数据迁移等关键操作。现有文献通常孤立处理不平衡或可解释性（eXplainable Artificial Intelligence, XAI）问题。该研究发表于《Electronics》，提出融合CRISP-DM（Cross-Industry Standard Process for Data Mining）与多层XAI的统一框架，实现从"预测故障"到"规范维护行动"的跨越，为关键HPC环境提供可审计、证据驱动的决策支持。
二、主要关键技术方法
研究人员选用Ransom & George公开的Disk Failure Dataset（Campaign Storage System运行日志）作为案例数据。采用CRISP-DM迭代流程：原始事件元组经特征工程提取槽位降级时间窗（hours_since_last_event_slot、flag_no_info_slot）、机笼/机架7日滚动事件数（events_last_7d_enclosure、events_last_7d_rack）、机架历史失效率（rack_historical_fail_rate）及周期时间变量（time、dayofweek）。数值特征Z-score标准化，类别特征One-Hot编码。按时间顺序取后25%为测试集。对比Logistic Regression、MLP、DT、KNN、SVM、Random Forest（RF）、Gradient Boosting（GB）七类算法，分别结合欠采样、过采样（Oversampling）、SMOTE、代价敏感学习（Class Weights）及无处理，含默认与调参变体共66配置；采用TimeSeriesSplit（n=5）防信息泄露，以AUC-ROC选优。最终胜出模型为经过采样平衡与超参数调优的直方图梯度提升（Histogram-based Gradient Boosting, 即GB_Tuned_Over）。XAI层部署全局技术（PFI、PDP、Surrogate Decision Tree）与局部技术（ICE、SHAP Beeswarm），将概率输出转译为工程规则。
三、研究结果
4.1. Business Understanding
明确HPC大容量存储为关键易损组件，目标为学习映射函数f(x)从常规遥测中分离硬件退化信号，以预测磁盘事件是常规周期（y=0）还是需物理更换的关键故障（y=1），并提供算法可解释性辅助决策。
4.2. Initial Understanding and Data Preparation
原始数据集含N条历史磁盘事件记录，无缺失值但存在严重类别不平衡（正常类82.2%，故障类17.8%）。经特征工程将时空拓扑信息转化为18维数值/类别特征向量，消除高基数物理ID以提升泛化性。
4.3. Understanding the Preprocessed Data
双变量分析显示时间与上下文变量分布随故障/正常类别有显著差异，证实特征对故障区分具判别力。按时间切分训练集（75%）与测试集（25%），预处理后进入建模。
4.4. Modeling
通过时序交叉验证与AUC比较，Gradient Boosting配合过采样及超参数调优（GB_Tuned_Over）表现最优。应用Youden's J统计量于ROC曲线确定最佳分类阈值τ≠0.5，偏向降低漏检关键故障风险。
4.5. Evaluation
GB_Tuned_Over在隔离测试集上AUC达0.9143；采用优化阈值τ后灵敏度（Sensitivity）86.59%，特异度（Specificity）84.96%，宏平均F1分数0.82，证明模型具强泛化能力与操作适用性。
4.6. XAI Deployment: Prescriptive Maintenance
全局PFI显示hours_since_last_event_slot为最重要特征（置换致AUC降>0.149），次为time、events_last_7d_rack及events_last_7d_enclosure。代理决策树（ fidelity 95.11% ）提炼出可操作规则：有历史记录槽位若距上次事件<1040 h（≈43天8 h）判为故障须立即更换；超此阈值判为常规周期。无历史新盘则依工作日/周五及特定时段（16:05–17:04）、机架7日事件活跃度判定。PDP显示hours_since_last_event_slot初值失败概率>0.9后千小时内骤降至~0.2渐近稳定；time呈非线性振荡峰在深夜；events_last_7d_rack/enclosure零值时失败概率偏高。SHAP Beeswarm确认低hours_since_last_event_slot显著推高失败概率；ICE揭示该阈值具普适性，而时间与拓扑变量存在个体异质性响应。
四、讨论与结论（翻译浓缩结论部分）
研究人员得出结论：（1）通过过采样与超参数优化可有效缓解HPC系统严重类别不平衡，GB_Tuned_Over在未见数据上具竞争力AUC，优化阈值在操作成本与故障检出间达良好平衡；（2）多层XAI串联使黑箱推断透明化——全局重要性、代理树提炼1040 h"风险隔离期"规则及负载周期交互，局部SHAP提供单盘审计依据以区分机械磨损与环境诱发脆弱性；（3）该融合ML-XAI框架为数据中心管理员提供循证工程工具，维护决策不再依赖通用寿命估算而基于动态可审计诊断。虽受限于数据集规模，框架理论可扩展至大数据环境（兼容Apache Spark MLlib，TreeSHAP近似加速），未来将在多设施HPC数据验证、LLM驱动规范建议生成、实时流处理及多组件（GPU/RAM/散热）关联失效分析中拓展。
（注：原文未提供具体精确AUC小数第四位以后及混淆矩阵数值细节处已按原文表述范围浓缩；Backness/Enclosure/Rack为原文命名法保留；SHAP、PDP、PFI、ICE、CRISP-DM、XAI首次出现均附简释；上标下标已按原文用标记处理。）
