综述：基于代理模型和大型语言模型（LLM）的多模态异常检测：架构、挑战与前景 Mohammed Ayalew Belay, Amirshayan Haghipour, Adil Rasheed, Pierluigi Salvo Rossi

《Sensors》：Agentic and LLM-Based Multimodal Anomaly Detection: Architectures, Challenges, and Prospects Mohammed Ayalew Belay, Amirshayan Haghipour, Adil Rasheed and Pierluigi Salvo Rossi

　　

摘要

异常检测对于维护复杂系统在各个领域（如工业制造、网络安全和自主系统）的安全性、可靠性和最佳性能至关重要。虽然传统方法通常处理单一数据模式，但最近在动态现实世界环境中应用多模态检测的情况有所增加。本文全面回顾了在智能代理与基于大型语言的多模态异常检测交叉领域的研究进展。我们系统地分析并分类了现有研究，这些研究基于代理架构、推理能力、工具集成和模式范围进行划分。本研究的主要贡献是一个新颖的分类体系，它统一了智能代理和多模态异常检测方法，并提供了基准数据集、评估方法、关键挑战及缓解策略。此外，我们还指出了主要的未解决的问题，包括数据对齐、可扩展性、可靠性、可解释性以及评估标准化。最后，我们概述了未来的研究方向，特别强调了可信的自主代理、高效的多模态融合、人在回路系统以及在安全关键应用中的实际部署。