摘要
生成式大型语言模型越来越被用于提供写作反馈。然而，这类模型为小学生提供的反馈在教育安全性和实用性方面的评估仍不够充分。本研究在一个现有的在线辅导项目中，以教育者为核心，对GPT-4 Turbo在五年级学生的叙事文和说服性写作中的应用进行了评估。我们通过结合真实学生的草稿与教师反馈，利用与评分标准相对应的提示来生成类似的LLM反馈，然后以盲法、在同一文本基础上的设计方式对比这两种反馈。四位经验丰富的英语教学专家共同设计了六维评分标准（清晰度、具体性、实用性、可行性、相关性以及整体效果），并对每篇文本的教师反馈和LLM反馈进行评分；他们的书面反思则经过主题分析，以找出其中的限制条件及风险认知。在各个维度上，教师反馈的平均评分略高，尤其是在“实用性”这一方面表现最为突出；但在经过Holm-Bonferroni校正后，这些差异均不再具有统计学意义。LLM反馈在清晰度和可行性方面的评分往往与教师反馈相当，但常常被认为内容较为泛泛、仅关注表面问题，有时还会与学生的草稿不一致，这增加了核对的难度，若不加以适当处理，还可能误导学生。综合各项评分结果和教育者的反思，我们明确了LLM反馈在哪些情况下最适合作为快速的第一阶段支持，用于常规的结构和表面修改，而在哪些情况下则不太适合用于判断学生的写作发展水平或提供基于具体情境的指导。我们将这些研究结果转化为针对教师参与式的小学生写作反馈系统的设计要求，包括与明确的教育目标相一致、可编辑的工作流程，以及能在反馈发送给学生之前过滤掉不合理内容的保障措施。
