(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111386406.4 (22)申请日 2021.11.22 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 司展宇　樊谨　汪森　汪炜杰　 孙丹枫　邬惠峰　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多元时序流数据的无监督异常检 测分析解决方法 (57)摘要 本发明公开了一种基于多元时序流数据的 无监督异常检测分析解决方法。 本发 明分为三个 阶段： 离线训练阶段， 在线部署阶段， 智能异常分 析阶段。 模 型通过时间卷积网络和变 分自编码器 来解构和重构多元时间序列流数据， 学习正常模 式。 在线流数据检测时， 封装成块送入模型得到 得分和分类标签， 并根据提出的 “异常反转机 制”， 解决在线异常检测中的概念漂移问题， 并重 训练模型， 动态更新分类阈值， 提高了处理在线 流数据异常的准确度。 之后， 并行或串行的进行 维度粒度的智能异常分析， 生 成不定维度的异常 分析报告。 本发明能够对多维度的、 复杂的检测 指标以及飞速增长的数据流进行智能异常识别、 检测、 分析， 流程完善， 为系统安全运行提供了 保 障。 权利要求书4页 说明书10页 附图4页 CN 114492826 A 2022.05.13 CN 114492826 A 1.一种基于多元时序流数据的无监督异常检测分析解决方法， 其特征在于该方法的实 现包括三个阶段： 离线训练阶段、 在 线检测阶段和智能异常分析阶段； 模型利用深度贝叶斯 网络捕获多条序列间隐含关系， 利用膨胀卷积捕获时间方向上 的隐含关系； 当流数据过来 时自动计算阈值， 进 行异常分类； 并使用异常反转机制捕获概念漂移； 之后通过串 行或并行 分析最可能出现异常的不定数维度， 输出它 们并可视化。 2.根据权利要求1所述的一种基于多元时序流数据的无监督异常检测分析解决方法， 其特征在于该 方法实现具体如下： 一、 离线预训练阶段： 步骤1： 将历史正常数据预处 理， 设定窗口大小， 封装成批次， 作为无监 督训练集； 步骤2： 模型训练； 用步骤1获取 的训练集对整个模型进行训练， 获得所需参数W*‑s、 b*‑ s、 φ‑s、 θ‑s以及训练集的异常得分； 编码器模块中， 使用滑动窗口机制， 将整个训练集的数据批次化、 窗口化； 输入的数据 表示为{xt‑T+i： t+i|b＜i＜e}， 窗口长度为T+1， 批次大小为e ‑b+1， 关注批次中的每一个窗口； 接下来， 具有若 干层的TCN模块捕获输入时间序列的时间依赖模式， 输出与输入的xt‑T： t维度 相同的ht‑T： t； 然后计算得到ht‑T： t的均值向量 μz和方差向量σz， 通过重参数技术采样得到隐 空间向量z0， 将z0使用PNF机制通过若干层迭代计算， 得到非高斯分布的先验概率分布， 整个 编码器部分公式如下： 公式(1)中第一式展示了TCN模块对时间依赖的捕获； 第二式和第三式根据h计算高斯 分布的均值向量 μz和方差向量σz， 其中fφ(h)代表ReLU激活函数； 第四式根据方差进行采样； 均值向量 μz来自于线性层， 方差向量σz由Soft‑Plus激活函数和微小扰动∈生成； 第五式和 第六式展示了PNF处理 隐变量z， z＝zK； 代表服从均值为μz， 方差为σz的高斯分 布； uz， Wz， bzandφ代表步骤2中训练好的模型参数； 通过编码器模块， 最终将会得到潜在空间序列zK t‑T： t； 解码器模块pθ(x|z)包括随机卷积神经网络层和V AE层， 该过程公式化 为：权　利　要　求　书 1/4 页 2 CN 114492826 A 2其中， 公式(2)中一式展示了随机卷积神经网络模块生成隐藏层序列 的过程； 公 式(2)中二三式与公式(1)中一二式类似， 唯一的不同在于生成 的过程； 重构序列 直 接从概率分布probability  distribution 中生成， 而 不是从Planar  NF层中生 成； 同样的参数 和 θ代表步骤2中训练完成的模型参数； 在该模型的离线训练过程中， 对网络参数W*‑s、 b*‑s、 φ‑s、 θ‑s通过ELBO优化； 在离线训 练集中， 取窗口大小为T+1的时间序列数据； 根据蒙特卡洛算法， 将采样 长度设为L， 第1个样 本记为 1≤l≤L； 因此能够定义单个损失函数： 其中ht＝TCN(Xt‑T： t)， TCN为随机卷积神经网络的范式， 表示为 xt的先验概 率服从 代表xt在满足qφ(zt|ht)分布条件下的期望； xt的先验概率服从 公式(3)的第一项 是标准 多元高斯正态分布， 第二项代表Kullback ‑Leibler(KL)损失， 第三项 是 一个非负的重构误差； 整个训练过程依赖 于单个损失函数， 表示 为： 其中T+1代表窗口大小， 代表单个观测实例损失， 代表整个 窗口下观测数据的总损失； 步骤3： 训练好之后， 根据训练集数据的重构概率得到训练集的异常得分， 此得分将作 为POT算法的输入；权　利　要　求　书 2/4 页 3 CN 114492826 A 3