(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210330693.5 (22)申请日 2022.03.31 (65)同一申请的已公布的文献号 申请公布号 CN 114491541 A (43)申请公布日 2022.05.13 (73)专利权人 南京众智维信息科技有限公司 地址 211300 江苏省南京市高淳区龙井路3 号 (72)发明人 车洵　孙捷　胡牧　金奎　孙翰墨　 (74)专利代理 机构 南京知识律师事务所 32 207 专利代理师 张苏沛 (51)Int.Cl. G06F 21/56(2013.01) G06F 21/57(2013.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 5/04(2006.01) G06F 16/36(2019.01) 审查员 石蒙蒙 (54)发明名称 基于知识图谱路径分析的安全运营剧本自 动化编排方法 (57)摘要 本发明公开了一种基于知识图谱路径分析 的安全运营剧本自动化编排方法， 为了更好地使 用已经构建好的网络安全知识图谱进行路径推 理， 本发明提出了一种路径记忆和推理的LSGAT 模型， 该模型基于强化学习模型， 并使用长短期 记忆网络和图注意机制， 在传统的推理网络 TransE的基础上增加了记忆模块， 利用强化学习 模型能更好地推理出实体与路径的深层语义特 征； 在网络安全事件发生时， 通过对网络安全应 急响应知识 图谱路径分析快速推理出实体与关 系， 并生成对应的动作， 构建准确有效的剧本， 实 现了快速高效的应急响应， 当产生新的网络攻击 时， 系统会自动调用编排好的剧本对异常攻击进 行防御。 权利要求书4页 说明书10页 附图1页 CN 114491541 B 2022.07.22 CN 114491541 B 1.一种基于知识图谱路径分析的安全运营剧本自动化编排方法， 其特征在于， 包括以 下步骤： S1： 给定网络安全 事件的日志和网络安全应急响应知识图谱； S2： 基于深度强化学习框架， 设置强化学习环境和Agent， 提取网络安全事件日志中的 网络安全实体， 查询该网络安全实体在强化学习环境的位置， Agent将网络安全实体在强化 学习环境的位置信息作为初始状态； S3： 把得到的网络安全实体和强化学习环境中实体进行比较， 使用 知识图谱排序算法 判断网络安全实体和强化学习环境中实体之间的关系， 并将它们之 间的关系建立成投影矩 阵， 同时考虑强化学习环境中实体与网络安全实体之间的关系的顺序信息， 在初始状态下 考虑目标实体与当前强化学习环境中实体之间的距离； S4： Agent选择一条关系路径向前推进， 并将其设置成强化学习环境的新状态； S5： 在Agent行动改变S2中的每一个初始状态， 再改变S4中的强化学习 环境的新状态的 过程中， 使用长短期记忆网络和图注意机制构成记忆组件， 使Agent记忆和学习在S4中 Agent采取的每一个行动； S6： 对Agent进行多次训练， 将获得奖励最多的Agent得到 的目标实体和长短期记忆网 络输出以及图注意力机制中的关系加权映射到一个高维向量； S7： 将S6中得到的高维向量输入到一个前馈神经网络中， 并将输出通过归一化指数函 数处理得到选择每一条路径的概 率； S8： 根据S7中得到的概率最高的路径， 提取这一条路径的强化学习环境中实体以及该 实体与目标实体之间的关系， 通过建立词汇映射表生成对应的动作,将每个攻击行为映射 到不同的漏洞， 再生成对应的剧本来判断各种攻击场景对企业 安全的威胁； 所述S2包括： 把经过知识抽取和实体对齐后的知识图谱作为强化学习环境， 建立相应 的Agent， 所述Agent包含状态、 行动和奖励， 在强化学习环境下， 模型学会在实体之间选择 有目标实体的推理路径； 所述S3包括： 提取网络安全事件日志中的网络安全实体， 查询网络安全实体在强化学 习环境中的位置， Agent将其作为初始 查询状态， 此后的每个强化学习环 境产生的新状态由 代理Agent在强化学习环境中的位置决定， 并使用知识图谱排序算法判断网络安全实体和 强化学习环境中实体之间的关系， 并将它 们之间的关系建立成投影矩阵； 其中 表示需要查询的对象， 表示维度变换矩阵， 表示知识图谱排序算法中描述 的投影向量的转置， 表示单位矩阵； 为了获取强化学习环境中实体与网络安全实体之间的关系的顺序信 息， 在初始状态下 考虑目标实体与当前实体之间的距离， 用 和 表示， 初始状态和 下一个状态的第一 个组成部分的公式为: 其中 表示实体嵌入初始状态的第一个分量， 表示目标实体。 2.根据权利要求1所述的基于知识图谱路径分析的安全运营剧本自动化编排方法， 其权　利　要　求　书 1/4 页 2 CN 114491541 B 2特征在于， 所述S2中网络安全实体包括漏洞、 IP、 SQ L服务器、 web服 务器。 3.根据权利要求1所述的基于知识图谱路径分析的安全运营剧本自动化编排方法， 其 特征在于， 所述S4包括： 根据Agent行动找到对应的强化学习环 境中实体以及该实体与目标 实体之间的关系， 设置路径的精确度、 查找路径的效率、 路径多样性的奖励函数。 4.根据权利要求3所述的基于知识图谱路径分析的安全运营剧本自动化编排方法， 其 特征在于， 所述S4包括： 在S2中定义了Agent的初始状态之后开始行动， 该行动指的是Agent选择一条关系路径 向前推进， 在强化学习框架的基础上， Agent根据LSGAT模型得到的概率来选择一条关系路 径向前推进， 从而产生新的动作， 包括有效动作和无效动作， 有效动作是指存在一个与目标 实体联系密切的实体来扩展它与当前实体连接的路径， 无效动作是指 选择了没有关系的路 径； 采用知识图谱搜索模型奖励函数， 奖励函数输出的结果值是根据行动是否有效， 或者 一系列行动是否能到达目标实体来决定， 将奖励函数输出的结果值向Agent反馈， 通过奖励 函数输出的结果值评估Agent找到的路径的质量， 若Agent通过某 一条路径没有找到目标实 体， 设置奖励函数输出结果值为 ‑1， 若Agent通过不同的路径找到目标实体， 设置奖励函数 输出的值在0 ‑1的范围内， 将全局的奖励函数输出的结果值设置不同部 分的加权值， 这些部 分包括： 查找路径的精确度、 查找路径的效率、 不同路径的多样性， 将路径的多样性定义为 如下公式： 其中 表示路径多样性， 是发现路径的个数， 指代发现的路径， 指代第 条发 现的路径， 最终的奖励函数设置成： 其中 表示的是最终加权的奖励值， 、 、 分别是查找路径的精确度、 查找路径的效率、 路径多样性， 、 、 是系数， 并且 满足 。 5.根据权利要求4所述的基于知识图谱路径分析的安全运营剧本自动化编排方法， 其 特征在于， 所述S5包括： 在定义了强化学习的强化学习环境和Agent后， 再定义训练过程中的记忆 组件， 利用三 层长短期记忆网络和图注意机制构成记忆组件， 使Agent记忆和学习已采取的行动， 输入 Agent初始状态和强化学习环境产生的新状态， 由嵌入当前的实体和记忆组件决定， 在记忆 组件中获得推理路径的语义， 用来将知识存储在选定的实体和关系中， 第一部分的记忆组 件由三层长短期记忆网络组成， 对于三层长短期记忆网络， 将隐藏层的初始状态 和输入 定义如下： 其中 为 时刻隐藏层的初始状态， 表示 时刻隐藏层的初始状态， 为当前 权　利　要　求　书 2/4 页 3 CN 114491541 B 3