一种用于分析生成式人工智能对数字素养影响机制的因果发现框架：基于大型语言模型（LLM）的行为分析方法

《Scientific Reports》：A causal discovery framework for analyzing the impact mechanism of generative AI on digital literacy: an LLM-based behavioral analysis approach

　　

摘要

生成式人工智能在高等教育中的广泛应用引发了关于人工智能使用行为与学生数字素养发展之间关系的疑问。现有研究主要依赖于相关性分析，未能充分探索潜在的因果路径。本研究提出了CD-LLM（基于大语言模型交互日志的因果发现）这一混合因果发现框架，旨在通过大规模交互日志来探究人工智能使用行为与数字素养之间的潜在因果关系。实验使用了WildChat数据集中的8,456条交互记录，数字素养通过符合DigComp 2.2框架的行为代理指标进行评估。结果表明，CD-LLM的F1分数为0.802，结构汉明距离为10.3，分别比最佳基线FGES提高了12.0%和23.7%。该框架在16个变量中提出了21个与数据一致的因果假设，表明交互特征可能介导了提示特征与数字素养结果之间的关系，其中85.7%的因果关系边缘的可靠性超过了0.75的阈值。