(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210748201.4 (22)申请日 2022.06.29 (71)申请人 天津大学 地址 300350 天津市津南区海河教育园雅 观路135号天津大 学北洋园校区 (72)发明人 宋占杰　王巍澄　孙晓晨　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 刘子文 (51)Int.Cl. G06V 10/764(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于时序正常行为持续记忆的异常行 为检测方法 (57)摘要 本发明公开一种基于时序正常行为持续记 忆的异常行为检测方法， 基于 卷积自编码器的卷 积神经网络模型， 神经网络模型包括编码器、 记 忆模块和解码器， 包括以下步骤： S1.对视频进行 打包拆分， 将每五帧连续的图片作为一个样本； S2.训练时在编码器中输入时间上连续四帧的 图 片， 将输出图像与第五帧图片进行对比， 构造损 失函数， 计算重构误差； S3.利用随机梯度下降法 对损失函数进行优化， 得到训练好的卷积神经网 络模型； S4.测试时， 设定一个阈值来判断每张图 片是否是异常的， 从而防止记忆模块在测试的时 候被异常行为的特 征更新。 权利要求书2页 说明书9页 附图1页 CN 115294384 A 2022.11.04 CN 115294384 A 1.一种基于时序正常行为持续记忆的异常行为检测方法， 其特征在于， 基于卷积自编 码器的卷积神经网络模型， 神经网络模型包括编码器、 记 忆模块和解码器， 包括以下步骤： S1.对视频进行打包拆分， 将每五帧连续的图片作为 一个样本； S2.训练时在编码器中输入时间上连续四帧的图片， 将输出图像与第五帧图片进行对 比， 构造损失函数， 计算重构误差； S3.利用随机梯度下降法对损失函数进行优化， 得到训练好的卷积神经网络模型； S4.测试时， 设定一个阈值来判断每张图片是否是异常的， 从而防止记忆模块在测试的 时候被异常行为的特 征更新。 2.根据权利要求1所述一种基于时序正常行为持续记忆的无监督学习异常行为检测方 法， 其特征在于， 编码器和解码器共同构成U ‑net结构的自编码器， 用于进行特征的提取， 且省去编码器 中最后一组的批标准化层和RE LU激活函 数层； 使用It和qt分别表示t时刻的视频中的图片和 与其对应的特征； 编码器将It作为输入， 输出的qt的大小为H ×W×C； H、 W、 C分别指高度， 宽度 和通道数； 用正常特 征向量 表示qt中的每一个大小为1 ×1×C的分量， 即： 其中K＝H ×W 将正常特 征向量 送入到记 忆模块中， 对正常特 征向量进行加工得到 最后将 和 拼接在一 起送入到解码器中， 得到 重建好的图片记为 3.根据权利要求2所述一种基于时序正常行为持续记忆的无监督学习异常行为检测方 法， 其特征在于， 记忆模块包括M个记忆向量以表示正常行为的多样性， 用pm∈RC， m＝1, ....M表示记忆向量； 通过 和pm的内积 表示两个向量的相似程度， 表示pm的转 置， 两两计算pm与 的内积再取指数， 得到以下M ×K的二维矩阵， 并对此矩阵的列利用soft   max函数进行归一 化： 其中矩阵第k行第m列的元 素wt(k,m)由如下公式计算： 每一个正常特 征向量 对应一个特 征 定义如下： 将K个新向量 按照顺序拼在一起得到与qt对应的向量 沿着图 像的H、 W、 C三个通道中C维度将qt和 连接在一起送入解码器， 使解码器输出的图像更接近 于正常样本 。 4.根据权利要求3所述一种基于时序正常行为持续记忆的无监督学习异常行为检测方 法， 其特征在于， 基于聚类的思想选取M个记忆向量， 具体的， 在利用随机梯度下降进 行迭代 之前， 先对M个记忆向量进行初始化， 最后要得到的M个记忆向量就是对所有正常行为特征权　利　要　求　书 1/2 页 2 CN 115294384 A 2聚类之后的聚类中心， 并确保在 梯度下降法每迭代一次后对记 忆向量进行一次更新。 5.根据权利要求4所述一种基于时序正常行为持续记忆的无监督学习异常行为检测方 法， 其特征在于， 对M个记忆向量进行初始 化方式如下： 将 M个向量全都设为0， 运用高斯混合 模型， 要得到的M个记 忆向量就是每个高斯分布的均值。 6.根据权利要求1所述一种基于时序正常行为持续记忆的无监督学习异常行为检测方 法， 其特征在于， 所述损失函数包括重构损失函数， 特征紧凑损失函数和特征分散损失函 数。 7.根据权利要求4所述一种基于时序正常行为持续记忆的无监督学习异常行为检测方 法， 其特征在于， 在对卷积神经网络模型进行训练和 测试时同时对记 忆向量进行 更新。 8.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求1至7任一项所述基于时序 正常行为持续记 忆的无监 督学习异常行为检测方法的步骤。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被处 理器执行时实现权利要求1至7任一项所述基于时序正常行为持续记忆的无监督学习异常 行为检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115294384 A 3