《Psychometrika》：MIXED-EFFECTS XGBOOST WITH GROUP-AWARE PERMUTATION IMPORTANCE AND CROSS-VALIDATION FOR MULTILEVEL CROSS-CLASSIFIED CONTINUOUS OUTCOMES
编辑推荐：
本刊推荐：针对具有复杂层次结构的连续型数据，研究者提出“混合效应XGBoost+组感知置换重要性+交叉验证”的新框架，解决了传统方法在处理交叉随机效应与固定效应交互时的局限，显著提升预测稳健性与可解释性，对心理测量与行为建模具重要价值。
在心理学、教育学和社会科学研究中，我们经常遇到一种特殊的数据结构：同一个体可能同时隶属于多个非嵌套的群体（例如学生来自不同学校和社区），观测值之间存在复杂的依赖关系，这种数据结构被称为“多层交叉分类数据”（multilevel cross-classified data）。传统的线性混合模型虽然可以处理简单的层次结构，但在面对交叉随机效应、非线性关系以及高维协变量的联合作用时，往往显得力不从心——要么假设过于严苛导致偏差，要么计算复杂度太高难以实现。更棘手的是，随着机器学习算法在这些领域的渗透，像XGBoost这样的强力预测工具虽然表现优异，却缺乏对数据层次结构的显式建模能力，导致标准误估计失真，且难以区分固定效应与随机效应对预测的贡献。这种“黑箱”特性阻碍了其在严谨的科学推论中的应用。
正是在这一背景下，发表在《Psychometrika》上的这项研究，尝试将经典的混合效应模型与现代机器学习进行深度融合。研究者巧妙地将广义线性混合模型（GLMM）的随机效应结构与XGBoost的梯度提升机制相结合，构建了名为“Mixed-effects XGBoost”的全新框架。这一创新不仅保留了XGBoost捕捉复杂非线性关系和交互效应的强大能力，还通过引入随机效应项，让模型能够正确刻画数据中的组内相关性，从而在保持高预测精度的同时，满足统计推断的基本要求。
为了破解机器学习模型“不可解释”的难题，该团队进一步开发了“组感知置换重要性”（Group-aware Permutation Importance）度量方法。与传统置换重要性不同，该方法在进行特征扰动时，严格保留了数据的层次结构，避免了因打乱组内关联而产生的虚假评估。配合专门设计的交叉验证策略，该框架能够在控制过拟合的同时，无偏地评估变量在组间和组内的相对贡献，为研究者提供了一条从“预测”走向“理解”的可靠路径。
本研究采用了多项关键技术以实现上述目标。首先是建立了混合效应XGBoost的理论与计算框架，将随机效应以潜变量形式嵌入XGBoost损失函数；其次设计了组感知置换重要性指标，通过分层置换评估变量在不同层级上的重要性；再者利用交叉验证策略优化超参数并评估泛化性能；此外，模拟实验生成了具有交叉随机效应的多水平连续结局数据以验证方法；最后将该方法应用于真实世界的大型教育评估数据集（如国际学生评估项目PISA衍生队列），对比了其与传统GLMM及普通XGBoost的表现差异。
理论框架与模型构建
研究首先给出了混合效应XGBoost的完整数学定义。对于具有交叉分类结构的连续结局，模型通过在XGBoost的目标函数中显式加入随机效应分量，实现了对组间变异的直接建模。推导过程证明了该框架在保持XGBoost所有优良性质的前提下，能够产出符合多水平数据特性的标准误估计。
组感知置换重要性
针对传统特征重要性指标在多水平数据中的失效问题，研究者提出了组级（group-level）和单元级（unit-level）两种置换策略。前者通过置换整组观测来评估特征对组间变异的解释力，后者则在组内进行置换以衡量组内效应。模拟结果显示，该指标能有效区分变量的层级贡献，大幅降低了假阳性发现。
交叉验证策略
为避免层次数据随机拆分导致的组信息泄露，研究设计了基于组的交叉验证流程。通过在训练集和测试集中保持组的完整性，确保了性能评估的无偏性，实验证实该策略比常规随机划分更能反映模型在未知群体上的真实表现。
模拟研究结果
在涵盖不同样本量、组数及信噪比的多种模拟场景下，混合效应XGBoost在预测精度上显著优于传统线性混合模型和标准XGBoost。尤其在存在强非线性效应和高维交互的场景中，新方法的均方误差降低幅度达30%以上，且随机效应方差估计更为准确。
实证应用
将该方法应用于大规模教育测评数据后，研究发现学生的家庭社会经济地位（SES）和学校资源投入在组间重要性极高，而学习时间分配和认知策略则在组内层面影响更大。这一精细区分揭示了教育干预中“宏观环境”与“个体行为”的不同作用机制，为精准政策制定提供了量化依据。
综合理论与实证结果，本研究确立了混合效应XGBoost在处理多层交叉分类连续结局时的优越性能。它不仅解决了传统统计模型灵活性不足和机器学习模型推断能力弱的双重困境，更通过创新的可解释性工具，让研究者能够清晰辨别变量在不同层级上的驱动作用。这项成果标志着心理测量与行为数据分析方法论的重要突破，为后续在更广泛的多源层次数据（如医疗健康中的患者-医生-医院交叉结构）中应用智能统计模型奠定了坚实基础。
