(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210014102.3 (22)申请日 2022.01.06 (71)申请人 深圳市检验检疫科 学研究院 地址 518000 广东省深圳市福田区福田街 道福强路101 1号 申请人 深圳大学　深圳海关信息中心 (72)发明人 包先雨　方凯彬　李俊杰　程立勋　 林伟钦　王歆　 (74)专利代理 机构 北京中仟知识产权代理事务 所(普通合伙) 11825 专利代理师 周庆佳 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/62(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双重自注意的动态图异常检测方 法 (57)摘要 本发明公开了一种基于双重自注意的动态 图异常检测方法， 包括如下步骤： S1： DuSAG提取 动态图的结构特征和时序特征进行异常边的检 测； S2： DuSAG将结构自注意应用于图的随机游走 采样得到的顶点序列， 使DuSAG能够关注顶点序 列中更加重要的顶点， 以此增强图的结构特征学 习； S3： DuSAG将时序自注意应用在不同时间戳的 顶点嵌入上， 使D uSAG能够捕获顶点的进 化模式， 学习图的时序特征。 本发明引入结构自注意机 制， 关注更加重要的顶点， 相比NetWalk增强了 结 构特征的提取。 D uSAG引入时序自注意， 学习顶点 的进化模式， 提取时序特征。 D uSAG在检测异常数 据有较好的效果 以及双重自注意在异常检测的 有效性。 权利要求书2页 说明书7页 附图1页 CN 114445639 A 2022.05.06 CN 114445639 A 1.一种基于双重自注意的动态图异常检测方法， 其特 征在于： 包括如下步骤： S1： DuSAG提取动态图的结构特 征和时序特 征进行异常边的检测； S2： DuSAG将结构自注意应用于图的随机游走采样得到 的顶点序列， 使DuSAG能够关注 顶点序列中更加重要的顶点， 以此增强图的结构特 征学习； S3： DuSAG将时序自注意应用在不 同时间戳的顶点嵌入上， 使DuSAG能够捕获顶点的进 化模式， 学习图的时序特 征。 2.根据权利要求1所述的一种基于双重自注意的动态图异常检测方法， 其特征在于： 所 述结构自注意用于进行提取图的结构特征， 使用随机游走算法在图上采样顶点序列， 每个 序列可以被 看为是一个 “句子”， 使用自然语言处 理技术得到顶点嵌入； DuSAG先使用Node2Vec 的随机游走算法生成顶点序列， 并通过对随机游走集应用结构 自注意来学习结构特 征， 通过结构自注意， 顶点嵌入捕获图局部区域的特 征； 形式上， 在时间步长t时， 在快照Gt上采样随机游走， DuSAG对每个顶点采样 ψ个游走， 并 将随机游走的长度设置为L， Gt的随机游走用Ωt表示， 对于每个游走， 通过初始化的顶点嵌 入Ht， 将每个游走转换为嵌入Qt， 并将它传递给SelfA ttention， 如下所示： Ot＝SelfAttention(Qt)(1)； Ot是结构顶点嵌入， 它包含了动态图的结构特征， D uSAG使用了注意力的比例点积形式， 查询、 键和值是输入嵌入的线性变换， 其中Wq， Wk， Wy是线性投影矩阵， 对于每个游走， SelfAttention定义如下： Zt＝βt(QtWy)(4)； 其中， βt是注意力权重矩阵， D uSAG使用多头自注意来关注输入的不同子空间， 以捕获更 复杂的模式， 通过级联 η个结果和φ个随机游走， 得到Ot： 3.根据权利要求1所述的一种基于双重自注意的动态图异常检测方法， 其特征在于： 所 述时序自注 意的目标是捕获顶点的进化模式， 提取时序特征； DuSAG将自注 意应用于不同快 照的嵌入Ot； 形式上， 对于每个游走， 计算得到嵌入Ot， 取游走中的顶点v， 并从w个快照中构造Ov， 其 中w是窗口的大小， 对 于每个顶点v， 添加位置嵌入来获得O ′v＝Ov+P， 其中P是位置嵌入矩阵， 它是通过绝对时间步长索引Wp获得的 ， Wp是位置嵌入矩阵 ， 利用自注意算法 SelfAttention′， 得到顶点嵌入Uv： Uv＝SelfAttention′(O′v)(6)； 与SelfAttention不同， SelfAttention ′关注当前时间戳和之前时间戳， 即屏蔽了未 来， SelfA ttention′和SelfAttention之间只有以下公式不同：权　利　要　求　书 1/2 页 2 CN 114445639 A 2定义掩码矩阵M为： 当Mij＝‑∞时， softmax激活函数将获得零权重， 这使得DuSAG可以屏 蔽未来时间戳， 经 过时序自注意后， 可以得到包 含结构特 征和时序特 征的顶点嵌入Uv。 4.根据权利要求1所述的一种基于双重自注意的动态图异常检测方法， 其特征在于： 所 述DuSAG的损失函数设置如下： DuSAG最小化同一随机游走中顶点之间的距离， 增加不处于 同一个随机游走中顶点之间的距离， DuSAG使用负采样来降低计算复杂度； 形式上， 损失函数Jt为： 其中 是顶点v在时间步长t处的负采样顶点 集， b是间隔； 得到顶点嵌入Ut后， 进行边异常检测， DuSAG利用边编码器φ将顶点嵌入和边集转换为 边嵌入Kt， 采用3层全连接网络的one ‑class神经网络， 即OCNN作为异常检测框架， 其前向传 播公式为： 其中 和 分别为OCNN第l层的权值矩阵和偏置向量， 异常得分向量 通过阈值， 可以将异常边与正常区分开 来， OCNN的损失函数为： OCNN的超参数为v和r， 分别控制过超平面的数据点数和超平面的偏差 。权　利　要　求　书 2/2 页 3 CN 114445639 A 3