(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210455616.2 (22)申请日 2022.04.24 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 赵春晖　王鹏　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 多时相监控图像抗干扰异常检测模型训练 方法、 装置及检测方法 (57)摘要 本发明公开了一种多时相监控图像抗干扰 异常检测模型训练方法、 装置及检测方法， 本发 明基于待测图进行场景转换， 生成与基准图存在 季节， 天气变化的干扰图。 使用三重孪生网络对 基准图， 待测图和干扰图提取特征， 同时在特征 层面构建空间一致性约束以抵抗季节， 天气变化 干扰， 经特征融合后使用矩形框定位异常区域。 本发明采用基准图+待测图+干扰图作为网络输 入， 结合空间一致性约束可以有效提取鲁棒性差 异特征， 从而提升多时相监控图像异常检测模型 的精度与抗干扰能力。 本发明可用于固定监控场 景中的自动化异常检测， 且异常检测模型适应性 与抗干扰能力强。 权利要求书2页 说明书8页 附图4页 CN 114782895 A 2022.07.22 CN 114782895 A 1.一种多时相监控图像抗干扰异常检测模型训练方法， 其特 征在于， 具体为： 基于多时相监控图像构建图像异常检测数据集， 所述图像异常检测数据集中每个样本 为(I‑n， I‑d， I‑i)三元组， I ‑n为基准图， I ‑d为待测图， I ‑i为所述待测图对应的干扰图， 所 述干扰图与待测图的天气和/或季节不同； 构建抗干扰异常检测模型， 所述抗干扰异常检测模型包括三重孪生网络、 差异特征融 合模块和多尺度预测网络， 其中： 所述三重孪生网络为三个结构相同且权值共享的特征提取网络， 分别用于提取获得基 准图、 待测图和干扰图的不同尺度的特征Nl,Dl,Il， l＝1,2,3 …M； Nl表示基准图提取的第l 种尺度的特征， Dl表示待测图提取的第l种尺度的特征， Il表示干扰图提取的第l种尺度的特 征， M是尺度的种类数量； 所述差异特征融合模块用于根据获取的不同尺度的特征， 计算每个尺度的检测差异特 征HDl＝|Nl‑Dl|、 干扰差异特征HIl＝|Nl‑Il|并计算检测差异特征与干扰差异特征的融合差 异特征HDIl； 所述多尺度预测网络用于基于每个尺度的融合差异特征HDll， 预测获得每个尺度的预 测值Rl∈(Sl*Sl*Kl*4)； 第l个尺度中划分单 元数为Sl， Anchor数为Kl； 将图像异常检测数据集中每个样本作为抗干扰异常检测模型的输入， 以最小化损失函 数为目标对抗干扰异常检测模型进行训练， 获得训练好的抗干扰异常检测模型； 所述损失 函数包含预测值Rl和真实标签的定位损失。 2.根据权利要求1所述的方法， 其特征在于， 所述干扰图是所述待测图基于一训练好的 风格迁移模型迁移获得。 3.根据权利要求1所述的方法， 其特征在于， 所述损失函数还包括根据检测差异 特征HDl 和干扰差异特 征HIl计算的空间一 致性损失 其中λl为不同尺度的差异容忍度阈值， average()函数表示取均值， max()函数表示取 最大值， l ＝1,2,3…,M。 4.根据权利要求3所述的方法， 其特征在于， λ1＞λ2＞λ3…λM‑1＞λM＞0， 对应于根据尺度 的由大到小， 差异容忍度阈值由大到小。 5.一种多时相监控图像抗干扰异常检测方法， 其特 征在于， 包括： 将获取的多时相监控图像作为待测图与基准图输入至权利要求1 ‑4训练获得的抗干扰 异常检测模型， 获得不同尺度的预测值Rl； 对预测值Rl进行后处理， 设置矩形框重合阈值r _t， 利用NMS非极大值抑制滤除重合度较 高的矩形框， 输出最终的抗干扰异常检测结果。 6.根据权利要求5所述的方法， 其特征在于， 所述权利要求1 ‑4训练获得的抗干扰异常 检测模型中， 干扰图对应的特征提取网络支路的输入换为待测图， 使得干扰差异特征HIl与 检测差异特 征HDl相等。 7.一种多时相监控图像抗干扰异常检测模型训练装置， 其特 征在于， 包括： 数据获取模块， 用于基于多时相监控图像异常检测数据集， 所述图像异常检测数据集权　利　要　求　书 1/2 页 2 CN 114782895 A 2中每个样本为(I ‑n， I‑d， I‑i)三元组， I ‑n为基准图， I ‑d为待测图， I ‑i为所述待测图对应的 干扰图， 所述干扰图与待测图的天气和/或季节不同； 训练模块， 用于将图像异常检测数据集中每个样本作为抗干扰异常检测模型的输入， 以最小化损失函数为目标对抗干扰异常检测模型进行训练， 获得训练好的抗干扰异常检测 模型； 构建抗干扰异常检测模型， 所述抗干扰异常检测模型包括三重孪生网络、 差异特征融 合模块和多尺度预测网络， 其中： 所述三重孪生网络为三个结构相同且权值共享的特征提取网络， 分别用于提取获得基 准图、 待测图和干扰图的不同尺度的特征Nl,Dl,Il， l＝1,2,3 …M； Nl表示基准图提取的第l 种尺度的特征， Dl表示待测图提取的第l种尺度的特征， Il表示干扰图提取的第l种尺度的特 征， M是尺度的种类数量； 所述差异特征融合模块用于根据获取的不同尺度的特征， 计算每个尺度的检测差异特 征HDl＝|Nl‑Dl|、 干扰差异特征HIl＝|Nl‑Il|并计算检测差异特征与干扰差异特征的融合差 异特征HDIl； 所述多尺度预测网络用于基于每个尺度的融合差异特征HDIl， 预测获得每个尺度的预 测值Rl∈(Sl*Sl*Kl*4)； 每个尺度中划分单 元数为Sl， Anchor数为Kl； 所述损失函数包 含预测值Rl和真实标签的定位损失。 8.根据权利要求7 所述的装置， 其特 征在于， 还 包括： 风格迁移模块， 用于所述待测图基于一训练好的风格迁移模型迁移获得干扰图。权　利　要　求　书 2/2 页 3 CN 114782895 A 3