理解学生对生成式AI聊天机器人的视角：一项高等教育中以人为中心的混合方法研究

《International Journal of Educational Technology in Higher Education》：Understanding student perspectives on generative AI chatbots: a human-centred mixed-methods study in higher education

　　

本研究旨在解决高等教育中理解生成式AI聊天机器人（generative AI chatbots）如何公平且有效地增强学生学习的教育挑战。研究人员采用了聊天机器人系统分析数据（chatbot system analytics data）和混合方法调查（mixed methods survey，n=121），以考察与研究问题相关的四个维度：聊天机器人的使用（学术价值、使用频率和态度）、技术经验与AI素养（self-reported digital proficiency, device usage and AI familiarity）、使用障碍（伦理关切、用户体验问题和政策模糊性）以及总体用户体验（清晰度、相关性、准确性、满意度和推荐可能性）。描述性统计（descriptive statistics）、单样本t检验（one-sample t-tests）和方差分析（ANOVAs）揭示了学生对聊天机器人普遍持积极态度，并认为在知识和理解方面有所收获，同时强烈支持学术诚信（academic-integrity）要求。使用分析确认了全天候使用需求，36.8%的交互发生在非工作时间。用户报告了清晰、相关、基本准确的回复和易用的界面，但总体满意度存在分歧。研究建议采用以人为中心的设计（human-centred design，如选择启动、更清晰的官方资源链接）、明确的AI政策与评估标签、教职员工和学生培训（包括提示素养prompt literacy和潜在使用案例）、学科专用知识库，以及对错误和边缘情况（edge cases）的持续监控与后续系统指令和知识库更新。研究结果凸显了聊天机器人公平补充人类教学的条件，以及不同学生群体中与聊天机器人互动的方法。

**论文解读：理解学生对生成式AI聊天机器人的视角——一项高等教育中以人为中心的混合方法研究**

**研究背景**
随着生成式人工智能（generative AI, GenAI）在高等教育中的快速整合，教育领域引入了一系列新数字工具，其中教育聊天机器人（educational chatbots）作为AI驱动的对话代理（conversational agents）备受关注。这些工具嵌入数字学习环境，旨在协助学生浏览课程材料、理解评估要求或获取学术资源。尽管聊天机器人承诺提供全天候支持、可扩展指导和个性化反馈，但学生对它们的接受程度并不统一。现有研究多聚焦于聊天机器人的设计、技术性能或理论潜力，而忽视了学生在真实情境中如何体验和解读这些工具。若AI增强的学习环境要实现公平有效，就必须从多个维度了解学生体验，包括信任、理解、价值观和期望。因此，本研究旨在填补这一空白，通过学生自我报告数据，探究学生对教育AI聊天机器人的看法，为制定更具包容性和响应性的GenAI实施策略提供依据。论文发表在《International Journal of Educational Technology in Higher Education》。

**主要关键技术与方法**
本研究采用收敛式混合方法设计（convergent mixed-methods design），样本来源为澳大利亚一所区域大学2025年第一学期的9个商业和法律本科单元，共121名学生参与。主要技术方法包括：基于GPT-4o大语言模型（large language model, LLM）构建的单元专属聊天机器人，集成系统指令（定义身份、个性、包含/排除内容）、策划知识库（包含学科和机构材料）以及嵌入学习管理系统（learning management system, LMS）的界面。数据分析使用SPSS v29进行描述性统计、单样本t检验和方差分析（ANOVAs），定性数据采用反思性主题分析（reflexive thematic analysis）处理。

**研究结果**

**RQ1: 学生如何看待聊天机器人在其单元中的有用性和学术价值？**
通过单样本t检验发现，学生普遍对教育中聊天机器人的使用持积极态度（p<.001），认为聊天机器人提高了学习效果（p=.003）并改善了知识理解（p<.001）。学生同意使用聊天机器人完成作业和考试违反学术诚信（p<.001），但不同意禁止使用。性别差异显示，男性更倾向于认为聊天机器人能改善成绩；英语语言能力方面，中级水平者比高级水平者更积极。用户与非用户的对比分析表明，用户对聊天机器人态度更积极，更认为其不违背教育目的。

**RQ2: 先前的技术经验和AI素养如何影响学生使用聊天机器人的意愿和信心？**
调查显示，78%的学生以笔记本电脑为主要设备，80.5%报告高或非常高技术素养，但仅15.3%对AI理解评为“优秀”。72%的学生很少或从未使用过聊天机器人。AI素养而非技术经验与学生使用意愿相关。性别差异显示，女性对AI技术理解及先前使用频率高于男性。用户与非用户对比表明，用户先前使用聊天机器人的频率更高（均值2.93 vs. 3.47, p=.006）。

**RQ3: 学生选择不使用聊天机器人的关键原因有哪些？这些原因如何反映对伦理、可用性或教学清晰度的关切？**
统计显著的原因包括：缺乏培训（p=.04）、不信任回复的准确性/安全性（p<.001）、偏好向教师提问（p<.001）、担心违反学术诚信（p<.001）以及无兴趣（p<.001）。年龄效应显示，26-30岁、31-35岁和45岁以上组更担心学术诚信。开放式主题分析（7个主题）表明，最大主题是可用性问题（23%），如弹出窗口令学生反感；其次为偏好人类或搜索引擎（18%）、缺乏有用性（18%）、AI伦理关切（14%）、不知情（8%）以及时间压力（6%）。

**RQ4: 学生如何评估聊天机器人的整体用户体验，包括满意度、响应性和界面质量？**
单样本t检验显示，用户认为聊天机器人易于使用（p<.001）、回复清晰（p<.001）、相关（p<.001）、准确（p<.001）、理解问题良好（p<.001），且个性化交互（p=.026），但也报告偶有错误（p=.003）。定性主题中，用户最欣赏的是信息与导航帮助（24%）、可用性与可及性（21%）、学科特定查询与学习支持（18%）、交互与语气（12%）等。改进建议包括：消除自动弹出（22%）、提升准确性与可靠性（19%）、增加官方资源链接等（22%）。

**讨论与结论翻译**
讨论部分指出，学生是能动的主体，其价值观、素养和学习需求影响对工具的解读、接受或拒绝。RQ1验证了学生对聊天机器人的积极态度，同时强调学术诚信支持；RQ2揭示AI素养而非技术经验是关键因素；RQ3明确了信任、伦理和偏好等障碍；RQ4确认了易用性和相关性的优势，但弹出设计和准确性需改进。以人为中心的设计（如选择启动、友好人格）和实践建议（明确AI政策、知识库独立于训练集、由开发者部署）被强调。研究结论翻译如下：

本研究的主要目标是理解学生对高等教育中GenAI聊天机器人使用的视角，特别关注其感知的学术价值、使用模式、采用障碍和整体用户体验。通过对调查回复和聊天机器人使用数据的分析，该目标得以实现。结果提供了关于学生在真实教育情境中如何与聊天机器人技术互动的实证见解，突显了对其有用性的普遍积极看法，同时伴有与可用性、信任和学术诚信相关的关切。通过解决这些维度，研究更清晰地揭示了AI聊天机器人有效补充高等教育教学的条件。研究强调了聊天机器人设计及其实践实施的重要性。本研究中实施和评估的聊天机器人被设计为单元专用支持代理，提供行政和学科特定内容。经过训练的聊天机器人应基于单个单元开发，并纳入学生学科学习工具中。教职员工应接受聊天机构建、知识库创建和提示工程的培训。聊天机器人需通过以人为中心的设计确保可用性和学生参与度。实践型毕业生需要了解如何使用GenAI工具（如聊天机器人）提高生产力，但不能取代其批判性思维和沟通技能。