基于本体的网络安全日志知识图谱自动构建:OntoLogX框架设计与评估

《Advanced Intelligent Systems》:OntoLogX: Ontology-Guided Knowledge Graph Extraction From Cybersecurity Logs With Large Language Models

【字体: 时间:2026年04月26日 来源:Advanced Intelligent Systems 6.1

编辑推荐:

  为解决网络安全日志因缺乏结构、语义不一致和跨设备分散而难以提取可操作威胁情报(CTI)的问题,研究人员开展了一项名为OntoLogX的研究。该研究提出一种基于大语言模型(LLM)的自主AI代理,能够将原始日志转化为基于本体的知识图谱(KG),并结合检索增强生成(RAG)和迭代校正步骤确保图谱的语法与语义有效性。研究结果表明,OntoLogX能够在公开和真实世界蜜罐数据集上稳健生成知识图谱,并准确将对抗活动映射到MITRE ATT&CK战术,显著提升了CTI的提取效率和实用性。

  
随着网络威胁的快速演进和日益复杂化,传统的基于签名或规则的防御系统往往难以应对动态变化的攻击 landscape,这促使网络安全策略从被动响应转向主动预防。在这一背景下,网络威胁情报(CTI)成为支持安全决策的关键资源。系统日志,尤其是蜜罐(honeypot)产生的日志,记录了攻击者的行为、被利用的漏洞以及恶意活动的痕迹,是宝贵的CTI来源。然而,这些日志通常是非结构化、语法异构且含义模糊的,其包含的信息还常常分散在多个设备和会话中,这给自动化分析和可操作情报的提取带来了巨大挑战。
为了克服这些障碍,本文提出了OntoLogX,一个利用大语言模型(LLM)将原始日志转化为基于本体的知识图谱(KG)的自主AI代理。该研究旨在解决如何从嘈杂、异构的日志数据中,生成连贯、可互操作且符合语义规范的知识表示这一核心问题。
研究人员设计并实现了一个包含轻量级日志本体、检索增强生成(RAG)管道、迭代校正以及战术预测模块的完整框架。该框架的核心工作流程如下:当一条日志事件到达时,系统首先从图数据库中检索语义相关的已有日志KG作为少样本示例,以引导LLM适应本体结构和先前模式。然后,LLM结合新日志事件、可选上下文信息以及领域本体,生成一个候选KG。此候选KG会经过基于SHACL(Shapes Constraint Language)规则的验证:如果输出格式错误或不符合本体约束,模型会在同一交互中被提示进行针对性修正,此迭代过程持续进行直至生成有效的表示。验证通过后,KG被独立存储在图数据库中,确保其可用于未来的处理和检索。最后,生成的KG会按会话分组,并由另一个LLM调用,预测其关联的MITRE ATT&CK战术标签,从而将低级别日志证据与高级别的对抗目标联系起来。
研究采用了几项关键技术方法:1) 设计了专门针对网络安全日志的轻量级本体及SHACL模式,以指导结构化表示;2) 采用了结合向量搜索和全文搜索的混合检索策略,并应用最大边际相关性(MMR)进行重排序,以获取多样且相关的示例;3) 利用LLM的生成能力,在提示工程中结合结构化输出模式,生成符合本体的KG;4) 实施了基于SHACL的迭代验证与校正机制,确保输出图谱的语法和语义合规性;5) 使用真实世界蜜罐数据集和公开的AIT日志数据集进行评估,确保了方法的有效性和泛化能力。
3.1 概述
OntoLogX被设计为在线日志分析AI代理,其处理流程是增量式和顺序的。每个日志事件在LLM的支持下被分析,生成一个基于本体的KG表示。即使单行日志只捕获了部分活动,它通常也包含可被显式表示的实体和关系。更高层次的、跨多个事件的推理则在后续的战术预测阶段处理。
3.2 结构化日志表示的本体设计
研究团队认为现有的网络安全本体(如UCO、STIX)要么过于复杂不适合自动化生成,要么(如SLOGERT中的模型)概念过少。因此,OntoLogX采用了一种新颖、轻量级但表达力强的自定义本体。该本体以Event类为核心,链接到表示日志产生设备或应用的Source类,并映射到prov-o(Provenance Ontology)本体的EntityAgent类。日志内部信息由Parameter的子类表示,并包含专门的TimeStamp参数。
3.3 示例检索
系统采用混合检索策略,结合向量搜索和全文搜索,并使用MMR进行重排序,以平衡相关性与多样性,从而为LLM提供更广泛的模式和结构示例。
3.4 基于本体的LLM知识图谱生成
LLM在生成步骤中,结合检索到的相关KG作为少样本示例,根据预定义的提示和结构化输出模式生成候选KG。这使模型能够推断隐式信息、消歧义并规范化不一致的术语。
3.5 基于SHACL规则的迭代验证与校正
为确保输出质量,系统引入了校正阶段,对生成的图谱进行句法、本体合规性和语义三个层面的验证。若发现违规,则构建针对性校正提示,通过反馈循环迭代修正,最多进行三次尝试。
3.6 下游应用:战术预测
为展示OntoLogX的实用价值,研究实现了一个下游分类任务:利用LLM分析会话级聚合的KG,预测其关联的MITRE ATT&CK战术。使用KG而非原始日志的优势在于,KG提供了标准化、合规的表示,便于模型进行高级别攻击行为的推理。
4.1 知识图谱构建
实验评估了OntoLogX在构建符合本体的KG方面的效果。通过消融研究,对比了无检索/无结构化输出/无校正的基线、仅检索、仅结构化输出、结构化输出+校正、完整OntoLogX流水线以及完整流水线+全量数据库等配置。评估了包括构建成功率、SHACL违规率、精确率、召回率、F1分数、实体/关系链接准确率以及G-Eval分数在内的多项指标。
4.1.1 模型
研究使用了八种不同的LLM进行评估,包括Llama 3.3、Llama 3.1、Claude Sonnet 4、Claude 3.5 Haiku、Mistral Large、gpt-oss(120B和20B)以及Qwen3 Coder(32B),以覆盖不同的架构、参数量和许可类型。
4.1.2 数据集
使用了来自AIT日志数据集的70个日志条目,确保句法和语义的多样性。这些条目通过基于嵌入的相异性标准选取,并进行了人工标注以生成黄金标准KG。
4.1.3 结果
结果表明,OntoLogX能有效生成符合本体的KG,但各组件的影响因模型和配置而异。完整流水线通常表现出最佳的综合性能,特别是在减少SHACL违规率和提高语义保真度方面。检索步骤显著提升了大多数模型的召回率和F1分数。结构化输出结合校正有效降低了格式错误。不同模型的表现存在差异,例如Claude系列和Qwen3 Coder在多项指标上表现稳定,而某些推理专用模型(如gpt-oss)在基础配置下生成成功率较低。
4.2 战术预测
第二个实验评估了OntoLogX在MITRE ATT&CK战术预测任务上的有效性。使用了一个包含100个会话的真实世界蜜罐数据集,这些会话已由专家标注了ground truth战术标签。
4.2.1 设置
将生成的会话级KG输入给一个专门的网络安全LLM(CyberSecLLM)进行预测,并与直接使用原始日志作为输入的基线进行比较。
4.2.2 结果
使用OntoLogX生成的KG作为输入,在精确率、召回率和F1分数上均显著优于直接使用原始日志的基线。这表明,KG提供的结构化、标准化表示能更有效地支持LLM进行高级战术推理,过滤了原始日志的噪声和异构性,提升了预测的准确性。
结论与讨论
本研究提出的OntoLogX框架,成功地将大语言模型、领域本体、检索增强生成和自动验证技术相结合,为从非结构化网络安全日志中自动提取可操作威胁情报提供了一种有效且稳健的方法。其核心贡献在于:1) 设计了适用于LLM引导的日志处理的轻量级本体;2) 实现了集检索、生成、验证于一体的自主AI代理;3) 通过消融研究证明了各组件(尤其是检索和校正)对提升KG质量的有效性;4) 在真实和基准数据集上验证了框架在KG生成和MITRE ATT&CK战术预测方面的实用价值。
这项工作的重要意义在于,它推进了基于AI的自动化威胁情报分析,使安全分析师能够从海量、嘈杂的日志数据中快速获取结构化、语义丰富的洞察,从而更有效地识别攻击模式、理解对手意图并实施 proactive 防御。生成的符合本体的知识图谱便于集成到现有的CTI系统和工作流中,支持语义查询和自动化推理。未来研究可探索本体的进一步扩展、在更大规模日志流上的性能优化,以及将生成的KG用于更复杂的攻击链重构和威胁狩猎场景。论文已发表在《Advanced Intelligent Systems》期刊上。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号