(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210525135.4 (22)申请日 2022.05.14 (71)申请人 苏州海裕鸿智能科技有限公司 地址 215300 江苏省苏州市昆山市玉山 镇 祖冲之南路169 9号研发楼3层 (72)发明人 路文　伍凌帆　李璐　 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于背景抑制的无监 督异常行为检测方法 (57)摘要 本发明提出了一种基于背景抑制的无监督 异常行为检测方法， 实现步骤 为： (1)获取训练样 本集和测试样本集； (2)构建无监督异常行为检 测网络模型； (3)对无监督异常行为检测网络模 型H进行迭代训练； (4)定义无监督异常行为检测 网络模型H*的异常分数函数score； (5)获取异常 行为检测结果。 本发明构建的无监督异常行为检 测网络模型， 克服了现有技术没有考虑视频帧的 背景特征对算法感知 的影响和训练集标注准确 度对于有监督学习的影 响， 提高了异常行为检测 方法的异常行为识别准确率。 权利要求书4页 说明书10页 附图1页 CN 114882434 A 2022.08.09 CN 114882434 A 1.一种基于背景抑制的无监 督异常行为检测方法， 其特 征在于包括如下步骤： (1)获取训练样本集和 测试样本集： (1 a ) 随 机 选 取 M 个 人 行 道 监 控 视 频 进 行 分 解 ， 得 到 M 个 帧 序 列 集 合 ， 其 中 表 示 第 m 个 包 含 Km幅 图 像 帧 的 帧 序 列 ， vk表示 中第k帧图像， M≥20 0， Km≥100； (1b)从帧序列集合Sv1包含的每个帧序列 中分别筛选出的仅包含行人走路事件的 Nm个帧图像组成正常行为帧序列 并将M个帧序列包含的所有正 常行为帧序列组成训练样本集Btrain， 然后将 中剩余的Pm个帧图像组成异常行为帧序 列 再将所有异常行为帧序列组成测试样本集Btest， 其中， Nm≥Pm， Pm ＝Km‑Nm； (2)构建无监 督异常行为检测网络模型H： (2a)构建顺次连接的背景抑制模块、 预测模块和背景抑制约束模块的无监督异常行为 检测网络模型H， 背景抑制模块的输出端还连接有上 下文记忆模块； 其中： 预测模块包括顺次连接的空间编码器、 卷积长短期记忆模块和解码器， 空间编码器采 用包含多个二维卷积层和多个激活函数层的特征提取网络； 卷积长 短期记忆模块采用包含 多个二维卷积层、 多个张量分解层和多个激活函数层的记忆卷积神经网络； 解码器采用包 含多个二维转置卷积层和多个激活函数层的转置卷积神经网络； 上下文记忆模块包括顺次连接的运动匹配编码器和记忆模块， 其中， 运动匹配编码器 采用包含多个三 维卷积层、 多个激活函数层、 多个三 维最大池化层和1个三 维平均池化层的 三维卷积神经网络； 上下文记忆模块中记 忆模块的输出端与预测模块中解码器的输入端连接； (2b)定义背景抑制约束模块的背景抑制损失函数LBGS、 背景约束损失函数Lrestrain、 最小 平方误差L2、 最小绝对值偏差L1： Lrestrain＝LBGS+L2+L1 其中， ||·||1表示求1范数， Binary( ·)表示二值化操作， 表示 的预测结果， 表示 的第n帧图像； (3)对无监 督异常行为检测网络模型H进行迭代训练： (3a)初始化迭代次数为t， 最大迭代次数为T， T≥80， 第t次迭代特征提取网络参数为权　利　要　求　书 1/4 页 2 CN 114882434 A 2θG1_t， 记忆卷积神经网络参数为θG2_t， 转置卷积神经网络参数为θG3_t， 三维卷积神经网络参 数为θG4_t， 并令t＝1； (3b)将训练样本集Btrain作为无监督异常行为检测网络模型H的输入， 得到第 t次迭代时 帧序列 的预测结果 (3b1)背景抑制模块对训练样本集Btrain中每个正常行为帧序列 中的每幅正常行 为帧图像 进行背景信息抑制， 并将所有 背景信息抑制后的帧图像组成帧图像序列； (3b2)预测模块中的空间编码器对一个背景抑制后的帧序列 中的每个帧图像进 行特征提取， 卷积长短期记忆模块对 所提取的所有特 征组成的特征张量 进行分 解， 得到 的特征信息 并存储， c∈[2,M ‑1]； (3b3)上下文记忆模块对除帧序列 以外的其他M ‑1个正常行为帧序列中的每个帧 图像进行特征提取， 并将 之前的所有帧图像的特征组成上文信息 并存储， 同 时将 之后的所有帧图像的特 征组成下文信息 并存储； (3b4)预测模块中的解码器对步骤(3b2)得到的特征信息 和步骤(3b3)得到的上文 信息 和下文信息 进行解码， 得到第t次迭代时帧序列 的预测结果 (3c)背景抑制约束模块对预测结果 和正常行为帧序列 中的正常行为帧图像 进行二值化处理， 得到t时刻预测 结果 的二值化图像 第n幅正常行为帧 图像 的二值化图像 (3d)采用背景抑制损失函数LBGS， 通过 和 计算Ht的背景抑制损 失值LBGS， 并采用背景约束损失函数Lrestrain， 通过LBGS、 L2和L1计算Ht的背景约束损失值 Lrestrain； (3e)采用反向传播方法， 并通过Lrestrain计算Ht的网络参数梯度， 然后采用随机梯度下 降法通过Ht的网络参数梯度对网络参数θG1_t、 θG2_t、 θG3_t、 θG4_t进行更新， 得到本次迭代的无 监督异常行为检测网络模型Ht； (3f)判断t≥T是否成立， 若成立， 得到训练好的无监督异常行为检测网络模型H*， 否则 令t＝t+1， Ht＝H， 并执 行步骤(3b)； (4)获取异常行为检测结果： (4a)将测试样本集Btest中第c个异常行为帧序列 作为训练好 的无监督异常行为检 测网络模型H*的输入进行 前向传播， 得到 的预测帧图像 权　利　要　求　书 2/4 页 3 CN 114882434 A 3