基于施瓦兹信息准则的变点分析：利用作答与作答时间检测考试加速

《Psychometrika》：Detecting Test Speededness Using Responses and/or Response Times: Change Point Analysis Approaches Based on Schwarz Information Criterion

本文针对限时考试中普遍存在的“考试加速”现象，提出了一种基于施瓦兹信息准则的变点分析新方法。研究通过整合作答数据和作答时间数据，旨在更精准地定位考生个体层面上的“加速”起始点。模拟实验与实证分析表明，相较于传统的似然比检验和瓦尔德检验，该方法在提升检测效能、控制I类错误和优化计算效率方面表现优异，为解决因时间压力导致的考试效度偏差问题提供了更为可靠的个体化诊断工具。

　　

在教育和心理测量领域，理想化的“纯能力测验”旨在测量被试的有效能力，而“纯速度测验”则测量有效速度。然而，出于实际施测的便利性，大多数测验都施加了时间限制，从而催生了“限时测验”。当考试时间不足以让被试在测验末尾投入足够的思考或努力时，就会出现“考试加速”现象。这并非测量构念的核心部分，却会无意中影响考试分数，导致作答准确率下降、出现缺失反应，并可能使项目和能力参数估计产生偏差，进而削弱测验分数与外部效标之间的关联，最终影响基于测验分数进行决策的解释和有效性。

尽管完全消除考试加速几乎不可能，但识别受其影响的作答模式对于维持测验的信度和效度至关重要。几十年来，研究者们开发了多种方法来测量和检测考试加速，可大致分为三类：基于经验法则的描述性统计非模型方法、假设行为切换的模型化方法，以及基于作答和/或作答时间的个体拟合指标或累积和法。变点分析是其中一种有前景的方法。然而，现有方法大多单独使用作答数据或作答时间数据，缺乏对两者的整合。此外，广泛使用的似然比检验和Wald检验等方法在存在细微数据波动时，可能错误地识别变点，导致较高的I类错误。

为了提供一种比似然比检验和Wald检验更有效的变点分析方法，本文提出了基于施瓦兹信息准则的变点分析方法。SIC-CPA方法的原理是：它为所有可能的变点位置拟合模型，计算每个项目位置的SIC值，然后选择SIC值最小的位置作为最可能的变点。SIC对模型复杂度引入了更强的惩罚，有利于选择更简洁的模型，这对于在噪声数据中检测变点特别有益，可以防止过于复杂的模型捕捉随机波动而非真实变化。与需要同时估计所有模型参数的混合模型相比，SIC-CPA方法在已知项目参数的情况下，通过基于SIC的模型比较即可识别变点，无需估计正常与异常行为分类所涉及的额外潜参数，具有相对简单、轻量级的检测导向优势。

为了开展研究，本文采用了基于施瓦兹信息准则的变点分析这一核心技术框架。具体方法包括：首先，分别构建了仅基于作答数据、仅基于作答时间数据以及结合两种数据的SIC-CPA模型。其次，通过模拟研究，在多种条件下评估了所提SIC-CPA方法在检测考试加速方面的有效性和准确性，并与似然比检验和Wald检验进行对比。模拟条件涵盖了不同测验长度、样本量、变点位置、能力/速度参数变化幅度等。此外，还使用了真实数据集来展示所提方法的应用。

2.1 基于SIC检测变点的施瓦兹信息准则

信息准则已广泛用于变点问题的模型选择。SIC是一种成熟的变点检测方法，它在模型拟合与复杂度（通常由参数数量决定）之间进行权衡。SIC在数学上等价于贝叶斯信息准则，其计算公式为SIC = -2log L(θ?) + p × log(n)，其中L(θ?)是最大似然，p是参数数量，n是样本量。

2.2 基于SIC的作答变点分析

在给定测验长度J、项目参数已知的前提下，对于第i名被试，考虑其潜在能力θ是否在某个项目k处发生变化的假设检验。零假设H₀^θ假定所有项目上能力相同，备择假设H₁^θ假定在项目k处能力发生变化。使用两参数逻辑斯蒂模型作为项目反应理论模型。分别计算在零假设和备择假设（对每个可能的k）下的SIC值。根据最小信息准则原则，如果min_2≤k≤J-1SIC_θi(k) < SIC_θi(J)，则拒绝零假设，并将使SIC值最小的k?估计为变点位置。该方法可通过系列假设检验扩展到检测多个变点。

2.3 基于SIC的作答时间变点分析

类似地，对于第i名被试的作答时间，考虑其速度参数τ是否在某个项目m处发生变化的假设检验。使用传统的对数正态模型拟合RT数据。分别计算在零假设和备择假设（对每个可能的m）下的SIC值。如果min_2≤m≤J-1SIC_τi(m) < SIC_τi(J)，则拒绝零假设，并将使SIC值最小的m?估计为变点位置。

2.4 基于SIC的作答与作答时间联合变点分析

提出一种改进的SIC方法，通过结合作答和RT数据来检测考试加速。假设检验的关键是检查能力和速度参数在作答过程中是否同时发生变化。零假设H₀假定所有项目上能力和速度均相同，备择假设H₁假定在项目r处能力和速度同时发生变化。考虑van der Linden的作答和RT联合模型。分别计算在零假设和备择假设（对每个可能的r）下的SIC值。如果min_2≤r≤J-1SIC_θi,τi(r) < SIC_θi,τi(J)，则拒绝零假设，并将使SIC值最小的r?估计为变点位置。

本文通过六项模拟研究，全面评估了所提出的三种SIC-CPA方法（仅作答、仅RT、联合）在不同条件下的表现。结果表明，SIC-CPA方法能够有效提升变点检测的效力，降低I类错误，同时与似然比检验和Wald检验相比，提高了计算效率。具体而言：(1) 联合作答和RT数据的SIC-CPA方法优于仅基于RT的SIC-CPA，而后者又显著优于仅基于作答的SIC-CPA。(2) SIC-CPA能够准确识别RT模式中的两个变点，分别对应早期的“热身”阶段和后期真正的“考试加速”。(3) 当使用被“污染”的数据估计项目参数时，通过“检测-清洗-重新校准”的迭代程序，SIC-CPA比似然比检验和Wald检验实现了更可靠的I类错误控制。此外，真实数据分析展示了所提方法的应用价值。

综上所述，本研究提出并验证了基于施瓦兹信息准则的变点分析方法，用于检测限时测验中的考试加速。SIC-CPA方法通过惩罚模型复杂度，增强了对数据随机波动的抵抗力，能更稳健、可靠地识别作答序列中的结构变化。其主要优势在于相对简单的检测导向和轻量级特性，尤其在项目参数已知时，无需像混合模型那样估计额外的潜类别参数。研究证实，结合作答和反应时数据能获得最佳的检测效果。这项工作为在个体层面上精确定位考试加速的发生点提供了有力工具，有助于更准确地评估时间压力对考生表现的影响，从而维护测验的效度和分数解释的公平性，对教育考试、职业资格认证等高风险测验的质量保障具有重要实践意义。未来研究可探索该方法在更复杂的多阶段加速、或与其他异常行为（如作弊）并存情境下的应用，并进一步开发适用于项目参数未知情况下的稳健估计流程。