一种三级语义分析与大型语言模型辅助的系统文献综述方法（TriSem-LLM）

《IEEE Access》：A Tri-Level Semantic and LLM-Assisted Methodology for Systematic Literature Reviews (TriSem-LLM)

　　

摘要：

文献的系统性回顾越来越多地涉及大型、多语言和异构的语料库，这使得传统的基于关键词的方法效率低下，并且可能会遗漏相关研究。本文提出了TriSem-LLM，这是一种多阶段筛选方法，它将关键词过滤、摘要和全文层面的多语言语义相似性以及大型语言模型（LLM）辅助的合成整合在一个统一且完全可追溯的工作流程中。与传统筛选工具不同，该方法避免了早期排除，并通过多个互补的标准评估所有候选文章，从而能够恢复仅通过词汇匹配可能无法捕捉到的研究。该方法旨在在保持透明性、模块化和可重复性的同时优先考虑召回率。该方法通过结构化的验证程序进行评估，包括手动标注的子集和对被排除文章的进一步检查。在验证子集（44篇被分类为相关文章，44篇被分类为不相关文章）中，自动化决策和手动决策之间完全一致。对排除文章的进一步检查发现了两个假阴性的案例，使得在检查样本中的召回率约为0.96。这些结果应被视为所提出方法内部一致性和实际可行性的初步迹象，而不是全球性能的最终估计。总体而言，研究结果表明，TriSem-LLM可以支持系统性回顾中的透明和可重复的筛选工作流程，特别是在语义变异性和术语差异带来重大挑战的多语言和跨学科背景下。