意识到考生误解的引导方式能够生成真正具有分析性的多项选择题

《IEEE Women in Engineering Magazine》：Misconception-Aware Prompting Can Generate Authentic Analytical Multiple-Choice Questions

　　

摘要：

尽管自动生成多项选择题（MCQ）的研究已经非常广泛，但生成需要深入推理的多项选择题仍然是一个未充分探索的领域。本研究旨在利用预训练的大型语言模型来开发一种自动生成分析型多项选择题（Analytical MCQs）的框架。分析型多项选择题以句子级别的陈述形式作为选项，用于评估学生对复杂主题的高阶推理能力。这一任务的主要挑战之一在于生成看似合理但实际上错误的陈述（即干扰项），这些错误陈述反映了学生的误解。为了解决这一挑战，我们利用学生对开放式问题的书面回答，这些回答能够揭示他们对某个主题的概念理解。在此基础上，我们引入了AnaQuest这种提示技术，将学生的开放式回答整合到分析型多项选择题的生成过程中。AnaQuest分析这些回答，识别常见的错误，并生成错误的陈述与正确的陈述一并使用。我们通过比较使用这些生成问题的考试中收集到的项目反应理论（IRT）参数与由人类编写的正确陈述的参数来评估AI生成陈述的质量。分析结果显示，与不考虑学生误解的基线ChatGPT模型相比，AnaQuest生成的陈述在区分度和难度水平上更接近人类编写的陈述。据我们所知，这是第一项研究，证明了利用学生对知识误解的认识来生成高质量多项选择题的重要性。