在数字媒介同伴评估中,将公平感知与评分有效性分离:一项两阶段fsQCA研究
黄端黄(Duen-Huang Huang)与王宇成(Yu-Cheng Wang)
《Information》:Decoupling Fairness Perception from Grading Validity in Digitally Mediated Peer Assessment: A Two-Stage fsQCA Study
Duen-Huang Huang and
Yu-Cheng Wang
【字体:
大
中
小
】
时间:2026年04月30日
来源:Information 2.9
编辑推荐:
摘要
人工智能(AI)已日益融入到技术强化学习环境中,在这些环境中,同伴评估同时具有教学和分析的双重作用。除了提供反馈和评分外,它还生成数据,这些数据随后通过学习分析系统进行解读。在实际操作中,诸如学生对评估公平性的认知
摘要
人工智能(AI)已日益融入到技术强化学习环境中,在这些环境中,同伴评估同时具有教学和分析的双重作用。除了提供反馈和评分外,它还生成数据,这些数据随后通过学习分析系统进行解读。在实际操作中,诸如学生对评估公平性的认知以及同伴评分者之间的共识程度等可见指标,常被视为评估过程有效运作的标志。然而,这些指标并不一定与评分的合理性相对应。即使同伴给出的评分与专家判断存在偏差,学生也可能认为同伴评估过程是公平的。因此,本研究探讨了在数字化中介的同伴评估环境中,那些被认为具有较高公平性的社会技术配置是否也对应于基于标准的评分合理性。数据来自台湾某大学两个连续学期中215名参加人工智能基础课程的本科生,教师评分在该课程背景下作为外部专家参考,而非普遍适用的基准。由于研究设计中完全混淆了匿名性和学期因素,因此与匿名性相关的差异不应被解释为孤立的因果效应。本研究采用了两阶段模糊集定性比较分析(fsQCA)方法。第一阶段确定了三种与高公平性感知相关的配置;第二阶段,将这些配置与四个评分客观性指标进行了对比:同伴与教师评分的一致性、同伴评分的趋同性、熟悉度偏见以及宽容度偏见。研究发现,公平性感知与评分合理性只是部分对齐的。那些以明确评审标准透明度为基础的配置,始终能够同时支持经验上的合理性和评估的准确性。相比之下,有一种配置虽然促进了同伴评分的趋同性,但其与教师标准的对齐度较低,这种现象被描述为“虚假客观性”;这种依赖具体情境的配置结果需要在其他环境中进一步验证。本研究通过表明公平性感知、同伴评分趋同性和评分合理性应被视为评估质量的独立维度,为数字化增强评估和学习分析的研究做出了贡献。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号