《AI》：Design and Evaluation of an AI-Based Conversational Agent for Travel Agencies: Enhancing Training, Assistance, and Operational Efficiency
Pablo Vicente-Martínez,
Emilio Soria-Olivas,
Inés Esteve-Mompó,
Manuel Sánchez-Monta?és,
María ángeles García Escrivà and
Edu William-Secin
编辑推荐：
为解决旅行社内部知识零散、信息检索效率低下的挑战，研究人员开展了一项基于检索增强生成（RAG）架构和Gemini 2.0 Flash的智能助手设计研究。该研究构建了一个集成结构化产品目录、非结构化文档和光学字符识别（OCR）处理内容的统一界面，包含工作助手、培训与评估模块。结果显示，该系统在确保95%准确率的同时，将信息检索时间大幅缩短至45秒以内，有效提升了员工工作效率和知识民主化水平，为旅行社内部运营优化提供了新思路。
想象一下，你是旅行社的客服人员，每天要面对成百上千的咨询电话。客户A想要预订一个适合家庭的海岛游，需要比较十几个不同航司的航班、数十家酒店的亲子设施，还要了解不同目的地的签证政策。客户B想临时更改行程，你必须立刻在复杂的退改签条款中找到准确答案。与此同时，你手头的“知识库”分散在各个角落：航班时刻表在一个Excel表格里，酒店政策是去年的PDF文件，资深同事才知道的“隐藏”优惠信息只存在于他们的脑海中。你不得不频繁切换系统、翻阅文件、甚至打断同事工作来寻找信息，而电话那头的客户已经开始不耐烦。
这正是当今许多传统旅行社面临的“信息碎片化”困境。在追求个性化和即时服务的旅游业中，这种低效的知识管理方式已成为制约服务质量和运营效率的关键瓶颈。尽管人工智能，特别是大型语言模型（LLMs），已在客户服务领域大放异彩，但其在提升企业内部运营效率、赋能员工方面的潜力却远未得到充分挖掘。现有的知识管理系统往往依赖僵化的分类和手动标记，难以应对动态变化的业务需求。因此，如何利用先进的人工智能技术，特别是能够有效整合并利用企业内部专有知识的系统，来破解这一难题，成为一个极具现实意义和研究价值的方向。
为此，来自国外的研究团队Pablo Vicente-Martínez, Emilio Soria-Olivas, Inés Esteve-Mompó, Manuel Sánchez-Monta?és, María ángeles García Escrivà 和 Edu William-Secin开展了一项开创性研究，他们设计并评估了一款专门针对旅行社运营的智能助手。这项研究摒弃了单纯面向客户的自动化思路，转而将焦点投向员工赋能和内部流程优化。研究成果以题为“Design and Evaluation of an AI-Based Conversational Agent for Travel Agencies: Enhancing Training, Assistance, and Operational Efficiency”的论文，发表在学术期刊《AI》上。
研究人员为解决知识碎片化问题，主要采用了以下几项关键技术方法：首先，构建了基于检索增强生成（Retrieval-Augmented Generation, RAG） 的整体架构，该架构将大型语言模型（LLM） 的生成能力与外部知识检索相结合，以基于经过验证的特定领域知识生成回答，有效减少了模型“幻觉”。其次，整合了异构数据源，包括结构化的旅游产品目录、客户/供应商联系数据库，以及通过光学字符识别（Optical Character Recognition, OCR） 技术处理的非结构化内部文档（如政策、培训材料）。再次，为处理图像和扫描文档，选用了MistralAI的OCR模型进行文本提取和后处理。最后，整个系统部署在亚马逊云服务（Amazon Web Services, AWS） 上，利用容器化、负载均衡和持续集成/持续部署（CI/CD）管道确保可扩展性、高可用性和自动化运维。
研究结果
1. 工作助手结果
该模块是系统的核心操作支持工具，通过自然语言提供对公司内部文档、产品目录和联系人数据库的访问。
- •
内部文档查询：对于政策和程序查询，智能助手实现了平均2-5秒的响应延迟。在一个包含50个查询-响应对的“黄金数据集”上进行的专家手动验证显示，系统的上下文精确度（检索到正确答案所在文档块）为1.00，答案准确性达到0.96，忠实度（生成内容严格基于检索上下文）为0.87。功能验证表明，响应保持了高准确性，并以易于理解的语言呈现信息，减少了代理在时间压力下手动解析复杂策略语言时可能出现的解读错误。
- •
产品目录查询：系统支持在包含酒店、航班、短途旅行和汽车租赁的结构化表格中进行搜索。产品记录包含一个“观察”字段，其中包含了经验丰富的代理所做的专家注释，这有效地实现了整个员工队伍中专业知识的民主化。对于标准产品查询，系统展示的平均会话延迟为3-4秒。功能验证指出，系统实现了即时的多选项比较，并访问了以前仅限于高级代理的专家见解，这被认为为解决方案带来了巨大价值。
- •
联系人信息检索：系统能快速访问客户和供应商联系表，以结构化格式提取特定信息（电话、电子邮件、地址、联系人）。助手成功检索特定联系详情的平均延迟为2-15秒。功能验证强调，在客户互动期间即时访问联系人，消除了工作流程中断并保持了对话流畅性。
2. 培训模块结果
培训模块将被动的信息消费转化为互动学习体验。该模块按主题块呈现教育内容，涵盖旅行产品类型、取消政策、客户管理程序等主题。在每个主题内，代理可以访问结构化内容，并通过由RAG驱动的交互式聊天界面进行互动，从而能够就材料提出情境化问题。功能专家验证指出，这种对话式学习模式具有多个优势：它将被动阅读文档转变为主动参与和提问，增强了记忆力和理解力；它允许代理控制学习节奏和深度，适应不同的学习风格和先验知识水平；来自培训材料的上下文化响应确保了与组织程序的一致性，同时消除了讲师可用性的延迟问题。
3. 评估模块结果
评估模块通过多种问题格式（对/错、多项选择、开放式回答、基于案例的场景）实现系统化的知识评估。代理可以访问两种评估模式：侧重于特定主题领域的基于目标的评估，以及全面评估所有培训内容知识的全局评估。测试完成后，系统会提供即时反馈，指出正确答案，解释错误，并突出知识差距。功能验证表明，该模块服务于多个组织目标：为代理提供知识获取和内容掌握的客观衡量标准；详细的反馈过程本身作为一种学习机制，通过间隔重复和错误纠正来强化关键概念；系统化的评估结果在个人和集体层面揭示了知识缺陷；包含需要应用判断力的基于案例的场景，可以评估实际决策能力。
4. 员工绩效结果
员工绩效模块将评估数据合成为对个人代理和机构管理层都有用的可操作见解。个人代理可以访问显示关键指标的绩效仪表板：平均分数、通过折线图显示的时间进展以及逐次测试的绩效细分。这些可视化使代理能够跟踪学习轨迹并确定改进领域。功能验证指出，绩效跟踪系统通过多种机制提供价值：绩效演变的图形表示为改进提供了具体证据，增强了参与专业发展活动的动机和参与度；绩效可见性创造了问责制，同时使代理能够掌握专业发展的所有权；绩效监控能够及早发现陷入困境的员工，从而在能力差距影响客户服务质量或销售绩效之前进行支持性干预。
5. 整体影响与综合
实施后的RAG智能助手系统成功实现了项目初期确立的基础目标。系统的成功可以综合为五个核心维度：知识集中化，提供了对以前分散在文档库、产品数据库和联系记录中的信息的统一访问；运营效率提升，定量结果显示信息检索任务的时间减少了95–99%且准确率达到95%，转化为显著的生产力提升；服务质量改善，在客户互动期间即时访问专家知识和全面的产品信息，可以实现更明智的建议和响应迅速的服务交付；持续专业发展，集成的培训、评估和绩效模块创建了一个全面的学习生态系统；战略性知识管理，通过产品目录中的专家注释和结构化培训内容，将高级代理掌握的隐性知识转化为可访问的组织资产。
研究结论与讨论
本研究证实，基于RAG的架构能有效解决旅行社运营中的知识碎片化挑战。系统在保持高准确性的同时，实现了信息检索的秒级响应，验证了其在支持实时客户互动方面的可行性。这标志着代理工作性质的根本转变：将代理人从繁琐的信息搜寻中解放出来，使其能将认知资源集中于高价值的活动，如理解客户偏好、提供战略建议和建立长期关系。
研究特别强调了RAG架构相对于模型微调在动态知识领域的优势。RAG将知识保存在外部、易于更新的存储库中，而非嵌入模型参数，这对于产品、价格和政策不断变化的旅游业尤为合适。研究中对结构化与非结构化数据源在统一对话界面中的集成，是对现有通常专注于单一数据模态的RAG研究的方法学贡献，更真实地反映了组织的知识生态系统，具有更广泛的适用性。此外，集成OCR处理遗留文档，降低了传统企业采用此类技术的门槛。
论文进一步指出，培训和评估模块代表了RAG在工作场所学习中的新颖应用。对话界面将被动文档审查转化为主动对话，契合了强调主动参与、即时反馈和自主学习等成人学习原则，有望带来超越便利性的学习成果提升。评估模块的系统化能力评估实现了基于证据的人才管理，其产生的聚合数据能够揭示组织层面的知识缺口，代表了培训需求评估方法的显著进步。
然而，研究也承认了其局限性，例如使用的评估数据集是综合生成的，尽管旨在确保生态效度，但与真实世界数据仍可能存在差异。未来研究需要在真实生产环境中进行更长期的部署，以评估其对客户满意度、销售转化率和员工留存率等业务指标的持续影响。同时，探索更先进的RAG技术，如迭代检索、查询重写和多跳推理，以处理更复杂的多步骤查询，也是一个有前景的方向。
综上所述，这项研究不仅为旅行社行业提供了一套切实可行的智能运营支持解决方案，更重要的是，它展示了将人工智能战略重点从客户自动化转向员工赋能和运营优化的巨大潜力。通过弥合理论AI能力与服务行业实际人力资本发展之间的差距，该工作为人工智能在提升知识密集型服务行业的内部效率和竞争力方面，树立了一个具有参考价值的范本。
