《Applied Sciences》：Question–Answer Models for Teaching Programming in Kazakh: A Morphology-Aware Controlled Study
编辑推荐：
本研究考察了具备形态感知能力的输入处理是否能够提升面向哈萨克语程序设计教学的问答性能。哈萨克语属于低资源语言，且具有丰富的形态变化。研究并未提出新的神经网络架构，而是对一种经调整的流程进行了受控实证评估；该流程结合了 `FEMSeg_kaz` 预处理、具备形态
本研究考察了具备形态感知能力的输入处理是否能够提升面向哈萨克语程序设计教学的问答性能。哈萨克语属于低资源语言，且具有丰富的形态变化。研究并未提出新的神经网络架构，而是对一种经调整的流程进行了受控实证评估；该流程结合了 `FEMSeg_kaz` 预处理、具备形态感知能力的后处理（MAPP）归一化，以及领域特异性微调。研究人员在 `GPT-4o` 辅助生成和专家验证的基础上，构建了包含 50,386 组哈萨克语 Python 程序设计问答对的数据集。每组数据由一个学生风格的哈萨克语程序设计问题及其对应的教学性回答构成，回答通常包含简短解释，并在适当情况下提供 Python 代码示例。采用多语言编码器与受控 `MiniLM` 设置的实验表明，在固定评估条件下，形态感知归一化能够带来可测量的性能提升；而其与领域特异性微调相结合时，可进一步改善若干答案选择指标与上下文重叠指标。研究结果表明，在形态丰富且低资源的情境下，对既有自然语言处理（NLP，自然语言处理）技术进行审慎且受控的适配，有助于支持哈萨克语教育问答系统的发展。由于研究未设置独立验证集，也未采用提前停止（early stopping）策略，因此这些发现应被理解为固定轮次（fixed-epoch）条件下的受控比较结果，而非经过充分优化的模型选择结果。
该文发表于《Applied Sciences》，围绕低资源、强形态变化语言环境中的教育问答展开，研究对象是面向哈萨克语 Python 程序设计教学的问答系统。研究背景在于，问答系统已广泛应用于教育、医疗、法律和客户支持等领域，在程序设计教育中可用于解释概念、辅助理解错误和回答常见问题。然而，哈萨克语程序设计教育的数字化学习资料和专用问答系统仍较有限。尽管近年来哈萨克语自然语言处理资源有所增长，但与高资源语言相比仍然不足。既有哈萨克语及突厥语（Turkic）自然语言处理研究多指出标注数据有限、语言形态结构复杂、缺少针对教育任务定制的问答工具等问题。尤其在问答任务中，哈萨克语包含大量后缀、格尾和词形变化，使得语义相近的问题可能呈现出显著不同的表层形式，从而削弱多语言编码器在答案选择任务中的稳定性与可靠性。基于这一现实，研究人员尝试检验：通过形态感知输入处理与领域特异性微调，是否能够缓解哈萨克语丰富形态变化对编码器式问答模型性能带来的影响。
研究人员围绕三个研究问题展开工作：其一，多语言编码器在哈萨克语程序设计问答中是否可通过领域特异性微调获得更好的答案选择能力；其二，在模型骨干、数据划分、候选答案集合和评估协议保持不变时，形态感知输入处理能否独立改善答案选择质量；其三，将 `FEMSeg_kaz` 预处理、MAPP 归一化与领域特异性微调结合后，是否优于仅使用预处理或仅使用微调。为此，论文设计了两个层次的实验。第一部分开展跨模型比较，在三个多语言编码器上考察领域微调的影响。第二部分以 `MiniLM` 为固定骨干进行受控比较，专门剥离并检验形态感知预处理及其与微调的交互作用。论文的核心贡献不在于提出全新的神经建模范式，而在于构建了一个面向哈萨克语程序设计教育的受控形态感知问答评估框架，并在共享答案选择流程中整合了 `FEMSeg_kaz`、确定性 MAPP 归一化和领域微调，同时通过不同输入表示之间的防泄漏（leak-resistant）配对提升配置比较的可靠性。研究还构建了一个包含 50,386 组问答对的哈萨克语 Python 教育问答数据集，并在相同答案选择设置下比较了三种多语言编码器微调前后的表现，同时探讨了自动评价指标、区间化人工评估与教学有用性之间的关系。
在技术方法方面，研究主要采用以下路径：首先依据学校程序设计课程与教师长期教学计划进行课程引导式数据构建，并在 `GPT-4o` 生成后由 3 名具备相关背景的专家进行筛选、修订、去重与验证，最终形成 50,386 组哈萨克语 Python 问答对；其次，以 `sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2`、`distiluse-base-multilingual-cased-v1` 与 `bert-base-multilingual-cased` 为多语言编码器，采用双编码器（bi-encoder）与 `MultipleNegativesRankingLoss` 进行 5 个 epoch 的领域特异性微调；再次，在受控 `MiniLM` 实验中构造 `Base-only`、`Base + fine-tuning`、`FEMSeg_kaz`、`FEMSeg_kaz + MAPP` 和 `Fine-tuned FEMSeg_kaz + MAPP` 五种配置；最后通过 `Exact@1`、`Top-3 ExactHit`、`TokenF1@1`、`MeanCos@1`、`Semantic@1`、`Recall@3`、`MRR@3` 与 `BERTScoreF1@1` 等指标，结合自助法（bootstrap）置信区间、McNemar 精确检验和 200 条样本人工审查进行综合评估。
在研究结果部分，论文首先报告了“Cross-Model Results Before and After Fine-Tuning”。结果显示，三个多语言编码器在微调后，`TokenF1@1` 与 `BERTScoreF1@1` 均有所提升，说明领域特异性微调能够增强程序设计问答域中问题与答案在嵌入空间中的对齐程度。不过，`Exact@1` 在所有模型上依然偏低，`Semantic@1` 则在不同模型间呈现不一致变化。这表明严格的答案完全匹配并非该任务中最敏感的改进指标，微调的收益更明显地体现在词元重叠、上下文相似性以及部分 Top-k 指标上。对 `MiniLM` 而言，微调后 `Top-3 ExactHit`、`MRR@3` 与 `BERTScoreF1@1` 均上升，而 `Recall@3` 仅有轻微变化。由此可见，领域微调总体上有助于模型适配程序设计问答场景，但各指标受益程度并不一致。
在“Controlled Morphology-Aware MiniLM Comparison”中，论文给出了全篇最关键的受控实验结果。首先，仅使用 `FEMSeg_kaz` 形态切分而不配合后续归一化时，并未带来稳定的实际收益；`Exact@1`、`Top-3 ExactHit`、`TokenF1@1`、`Recall@3` 与 `MRR@3` 等多项指标反而略有下降，只有 `MeanCos@1` 出现小幅上升，`Semantic@1` 基本持平。该结果说明，仅靠分割词素（morpheme，最小表义单位）边界并不足以提升答案层面的性能。其次，`FEMSeg_kaz + MAPP` 配置相较基础 `MiniLM` 呈现出最清晰的“仅形态处理”收益：`Exact@1`、`Top-3 ExactHit`、`TokenF1@1`、`Semantic@1`、`Recall@3`、`MRR@3` 与 `BERTScoreF1@1` 均提高，而 `MeanCos@1` 略有下降。这一结果支持论文的核心判断，即形态切分只有在经过 MAPP 的确定性归一化稳定化之后，才能更有效地减少表示噪声、统一词形变体并保留有用的词素边界信息，从而转化为答案选择性能的实际增益。再次，当在 `FEMSeg_kaz + MAPP` 基础上加入领域特异性微调后，组合配置在 `Exact@1`、`Top-3 ExactHit`、`TokenF1@1` 和 `BERTScoreF1@1` 上达到最高值，显示出在严格 Top-1 识别、Top-3 精确命中、词元重叠和上下文重叠方面的优势；但其在 `Semantic@1`、`Recall@3` 和 `MRR@3` 等依赖固定语义阈值的排序指标上反而低于未微调的 `FEMSeg_kaz + MAPP`。因此，论文没有将该组合简单解释为“全面最优”，而是指出形态感知归一化与领域微调具有互补且依赖指标类型的效应：前者更突出地改善某些阈值型语义排序表现，后者则更明显地促进严格匹配和上下文重叠类指标。
在“Human Evaluation of Question-Answering Results”中，研究人员对保留测试集中的 200 个样本进行了人工审查，以补充自动指标的局限。相同的 200 个问题分别用于比较 `MiniLM` 微调前后的输出，3 名专家依据技术正确性、与问题直接相关性、对初学者的清晰度以及代码与解释是否存在误导等标准进行判断。结果显示，在该有限审查样本上，微调前后专家标记为正确的比例由 54% 上升至 62%，提示微调与专家感知正确性的提升存在一致趋势。95% Wilson 置信区间和非参数 bootstrap 区间也均呈现上升态势。然而，专家间一致性通过 Cohen’s κ（科恩卡帕系数）衡量仅达到轻度到一般一致范围，说明教育问答中“教学上可接受”的判断具有一定主观性。因此，人工评估结果被论文明确界定为补充性证据，而非对广泛教育有效性的强证据。
在讨论部分，论文对结果进行了谨慎归纳。首先，跨模型基准表明，领域特异性微调是有益的，但单独使用并不足以完全解决哈萨克语程序设计问答的困难，尤其是在严格的 `Exact@1` 指标下。其次，`bert-base-multilingual-cased` 在零样本条件下表现出相对较高的 `Semantic@1`，但微调后该值下降；论文认为，这主要与固定阈值 `ans_cos ≥ 0.85` 下嵌入空间分数分布敏感有关，更可能是一种阈值依赖的表示空间效应，而不应被理解为零样本答案质量显著优于其他模型。再次，受控 `MiniLM` 比较更清楚地证明了论文的经验性贡献：在固定骨干、固定数据划分、固定答案空间、固定训练计划和固定评估协议下，形态感知输入处理仍然能够改变结果，其中单纯分割无明显益处，而加入 MAPP 归一化后收益明确。讨论还强调，`MeanCos@1` 的升高并不必然对应答案质量的提升，因此原始问题嵌入相似度并非最佳的实用性能代理指标。对于哈萨克语教育问答而言，更可靠的改进策略是将专家清洗的领域数据、共享双编码器微调、语言学驱动的预处理和混合评估方法结合起来，而不能简单依赖更大规模编码器本身。
论文同时系统讨论了局限性。首先，形态感知受控实验主要在 `MiniLM` 上进行，因此 `FEMSeg_kaz + MAPP` 的收益尚需在更多编码器家族中通过相同防泄漏协议进一步验证。其次，尽管加入了配对显著性检验，一些提升幅度仍然较小，尤其在严格 `Exact@1` 上更应谨慎解读。再次，数据集虽然经过课程引导式设计和专家验证，不应被视为任意的 GPT 生成语料，但其并非来自真实课堂日志、学习管理系统（LMS，Learning Management System）记录或实时学生互动，因此外部效度有限。人工审查样本规模较小且专家一致性有限，也限制了对教育有效性的强推断。此外，研究尚未部署真实教学系统，未进行课堂试验、LMS 集成或学习成效测量；同时，数据筛选阶段使用预训练 `MiniLM` 进行嵌入相似度初筛，可能引入有限的表示空间偏倚。最后，研究未设独立验证集，也未进行系统性超参数优化，因此结果应被理解为受控比较证据，而不是最优训练配置的证明。
研究结论部分可译述如下：本研究评估了用于哈萨克语程序设计教学的多语言问答模型，核心目标是检验形态感知输入处理是否能够在标准领域特异性微调之外进一步提升答案质量。结果表明，在受控条件下，形态感知归一化能够产生可测量的改进；同时，归一化与微调结合后可提升若干答案选择指标与上下文重叠指标，但这种改进并不在所有报告指标上呈现一致优势。受控 `MiniLM` 实验显示，形态感知处理在固定实验条件下具有独立效应。单独使用 `FEMSeg_kaz` 未能在各项指标上稳定改进，但 `FEMSeg_kaz + MAPP` 的表现明显优于仅分割的方案，说明形态切分需经由确定性后分割归一化稳定化后才更具效用。当在 `FEMSeg_kaz + MAPP` 之上叠加领域特异性微调时，组合配置在 `Exact@1`、`Top-3 ExactHit`、`TokenF1@1` 和 `BERTScoreF1@1` 上取得最高值；然而，未经微调的 `FEMSeg_kaz + MAPP` 在 `Semantic@1`、`Recall@3` 和 `MRR@3` 等阈值型语义排序指标上仍更强。因此，这些结果不应被解释为组合配置在全部指标上的统一优越性，而应理解为形态感知归一化与微调具有互补且依赖评价指标的作用。总体而言，研究回答了三个研究问题：领域特异性微调可改善词元层面与上下文相似性指标；形态感知处理在经由 MAPP 稳定化后更具价值；`FEMSeg_kaz`、MAPP 与微调的结合可改善若干严格答案选择与上下文重叠指标，但并非对所有语义排序指标都占优。由于实验采用固定 5 个 epoch 训练计划，且未设置独立验证集与提前停止，因此这些结果提供的是受控比较证据，而非最优模型配置的证明。
