(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211052282.0 (22)申请日 2022.08.31 (71)申请人 国网江西省电力有限公司信息通信 分公司 地址 330000 江西省南昌市青山湖区昌东 大道7077号科研通信楼821室 申请人 国家电网有限公司 (72)发明人 邱日轩　梁良　傅裕　陈明亮　 郑富永　彭超　郑锦坤　井思桐　 戚伟强　林冰洁　李元诚　 (74)专利代理 机构 北京众合诚成知识产权代理 有限公司 1 1246 专利代理师 王焕巧 (51)Int.Cl. H04L 9/40(2022.01)H04L 41/142(2022.01) H04L 41/16(2022.01) G06N 20/00(2019.01) (54)发明名称 一种基于SOAR的网络安全自动化方法及系 统 (57)摘要 本发明公开了一种基于SOAR的网络安全自 动化方法， 该方法包括： 一种基于informer算法 的安全分析模型及一种基于ATT N‑D3QN算法的安 全编排模型。 通过输入系统未知软件运行信息， informer模型通过对该长时间序列降维、 特征提 取并分类， 输出安全威胁分析结果， 并将其输入 ATTN‑D3QN模型中。 ATTN ‑D3QN模型通过注意力网 络对最优价值函数进行近似， 实现对安全系统、 安全工具的智能编排， 并通过API自动运行， 实现 安全自动化。 本发明还提供了一种基于SOAR的网 络安全自动化系统， 该系统包括： 数据服务模块、 安全分析模 块、 SOAR模 块、 交互管理模 块， 该系统 通过集成SOAR模块， 重点关注事件响应操作， 提 高安全运维团队的效率， 使响应过程规范化、 标 准化， 缩短响应时间。 权利要求书4页 说明书5页 附图2页 CN 115549972 A 2022.12.30 CN 115549972 A 1.一种基于SOAR的网络安全自动化方法， 其特 征在于， 包括： 一种基于informer算法的安全分析模型及一种基于ATTN ‑D3QN算法的安全编排模型； 输入经处理的系统日志文件信息， informer模型通过对该长时间序列降维、 特征提取并分 类， 输出安全威胁分析结果， 并将其输入ATTN ‑D3QN模型中； ATTN ‑D3QN模型通过注意力网络 对最优价值函数进 行近似， 实现对安全系统、 安全工具的智能编排， 并通过API自动运行， 实 现安全自动化； 其具体步骤为： 步骤1： 动态检测系统中的安全威胁， 对系统日志文件进行预处理， 并通过组合标记使 其适合输入informer模型； 步骤2： 使用合法系统数据和开源网络威胁情报数据 集对informer模型进行预训练， 对 输入序列进行降维、 特 征提取并进行分类； 步骤3： 使用注意力网络进行预训练得到最优动作 价值函数， 输入informer模型的分类 结果， 同时输入当前系统环境的状态、 安全工具集， ATTN ‑D3QN模型通过注意力网络预训练 模拟最优动作价 值函数， 输入策略函数， 最终得到安全编排并输出。 2.如权利 要求1所述的一种基于S OAR的网络安全自动化方法， 其特征在于， informer模 型对输入序列进行降维、 特 征提取并进行分类的具体步骤为： 步骤2.1： informer模型输入为三元组 Q为查询， K为 键值， V为 值， d为输入数据的维度， 第i个查询以概 率形式被定义 为： 其中， qi、 ki、 vi分别表示 Q、 K、 V的第i行； 步骤2.2： 在自注意力的学习模式中， 少数点积对会引起大部分注意力， 而其他点积则 引起少量注意力， 为了区分主要注意力， 定义查询Q的稀疏度， 去掉常量， 第i个查询的稀疏 性定义为： 其中第一项是所有键值的qi的指数函数的和的对数LSE， 第二项是它们的算数平均 值， LK表示K的长度； 步骤2.3： 使每 个键值只处 理u的主查询， 概 率稀疏自注意力定义 为： 其中， 是与q大小相同的稀疏矩阵， 只包含稀疏度量M(q,K)下的Top ‑u查询， 设u＝ clnLQ， 常数c为采样因子； 步骤2.4： 为了解决数值稳定性问题， 对查询的稀疏度量进行近似， 定义最大平均测量 值为 步骤2.5： 编码器提取长时间序列的长程相关性， 提取具有支配特征的优势特征值， 并权　利　要　求　书 1/4 页 2 CN 115549972 A 2生成自注意力特 征映射， 由第j层到第j+1层的提取 过程定义 为 其中[·]AB表示注意力块， 包括多头自注意力和一维卷积过 滤器； 步骤2.6： 使用标准 解码器， 由两个相同的多头自注意力层组成， 输入向量 并将提取 特征值输入softmax， 得到安全分析 结果。 3.如权利要求1所述的一种基于SOAR的网络安全自动化方法， 其特征在于， ATTN ‑D3QN 模型实现安全编排自动化及响应的具体步骤为： 步骤3.1： 对系统网络进行建模， 用于模拟模型环境； 步骤3.2： 对安全编排中的安全动作分类抽象， 定义动作集A； 步骤3.3： 对模型输入的观测到的状态st定义状态集， 分为系统网络所有节点状态以及 系统网络中受攻击节点状态， 描述为安全事件对系统网络的危害程度， 不同的安全事件会 生成不同的系统状态； 步骤3.4： 模型的奖励值由两部分组成， 一部分是已执行的安全动作得到的奖励， 一部 分是策略函数对系统环境造成的损害； 表示 为 其中ωt是动作at的权值， ht是截止到时刻 t为止的安全编排， At是到时刻 t为止的安全动 作集合； 步骤3.5： 动作价 值函数由深度网络进行近似， 表示 为 使用注意力网络对D3Q N网络中的动作价 值函数进行训练， 得到 Q*(st,at)＝maxπ[Qπ(st,at)] 其中γ为 折扣率， Q*(st,at)为训练得到的最优动作价 值函数； 步骤3.6： 根据informer模型输出结果， 观测状态st， 根据最优动作价值函数执行安全动 作at， 系统环境给 出新状态st+1及奖励rt， 不断迭代以得到最终安全编排。 4.一种基于SOAR的网络安全自动化系统， 其特 征在于， 包括： 数据服务模块， 用于提供数据生成、 数据聚合、 数据保护和数据存储服务， 基于云服务、 云数据、 数据库管理系统对历史数据和安全 日志、 网络流量进行存储、 管理和泄露防护， 通 过警报、 传感器系统对网络流 量进行监控， 通过安全工具实施系统防护并生成实时数据； 安全分析模块， 嵌入informer安全分析模型， 用于实现基于机器学习的智能系统分析、 威胁预测、 安全 事件分类； SOAR模块， 嵌入ATTN ‑D3QN安全编排模型， 用于实现基于深度强化学习的安全编排和事 件响应的智能化、 自动化； 交互管理模块， 用于可视化显示安全分析模块和SOAR模块的内容， 使安全运维人员可 以进行剧本管理、 告警管理、 协同处 理、 工作流管理并根据系统日志自动生成报告。 5.如权利要求4所述的一种基于SOAR的网络安全自动化系统， 其特征在于， 所述 informer安全分析模型， 构建步骤为：权　利　要　求　书 2/4 页 3 CN 115549972 A 3