(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210654653.6 (22)申请日 2022.06.10 (71)申请人 嘉洋智慧安全生产科技发展 （北京） 有限公司 地址 102199 北京市延庆区中关村延庆园 东环路2号楼1707室 (72)发明人 吴新涛　 (74)专利代理 机构 北京东方亿 思知识产权代理 有限责任公司 1 1258 专利代理师 赵秀芹 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 异常行为的检测方法、 装置、 设备及计算机 存储介质 (57)摘要 本申请公开了一种异常行为的检测方法、 装 置、 设备及计算机存储介质， 涉及人工智能领域。 该方法包括： 获取图像序列， 图像序列包括多张 待测图像， 待测图像至少包括作业设备； 根据识 别模型识别图像序列中的作业设备以及目标对 象， 得到识别结果； 在识别结果包括作业设备的 第一检测框和目标对象 的第二检测框的情况下， 确定第一检测框和第二检测框 之间的重叠度； 根 据重叠度， 确定图像序列中是否存在所述异常行 为。 根据本申请实施例， 能够及时发现安全隐患， 提高安全隐患的排 查效率。 权利要求书3页 说明书12页 附图3页 CN 115063739 A 2022.09.16 CN 115063739 A 1.一种异常行为的检测方法， 其特 征在于， 包括： 获取图像序列， 所述图像序列包括多张待测图像， 所述待测图像至少包括作业设备； 根据识别模型识别所述图像序列中的作业设备以及目标对象， 得到识别结果； 在所述识别结果包括所述作业设备的第一检测框和所述目标对象的第二检测框的情 况下， 确定所述第一检测框和所述第二检测框之间的重 叠度； 根据所述重 叠度， 确定所述图像序列中是否存在所述异常行为。 2.根据权利要求1所述的异常行为的检测方法， 其特征在于， 所述在所述识别结果包括 所述作业设备的第一检测框和目标对象的第二检测框的情况下， 确定所述第一检测框和所 述第二检测框之间的重 叠度， 包括： 在所述识别结果包括所述作业设备的第 一检测框和目标对象的第 二检测框的情况下， 确定所述第一检测框和所述第二检测框之 间的重叠面积， 以及所述第一检测框和所述第二 检测框之间的非重 叠面积； 根据所述重叠面积和所述非重叠面积， 确定所述第 一检测框和所述第 二检测框之间的 重叠度。 3.根据权利要求2所述的异常行为的检测方法， 其特征在于， 所述根据所述重叠度， 确 定所述图像序列中是否存在所述异常行为， 包括： 在所述重 叠度大于预设重 叠度的情况 下， 确定所述图像序列中存在所述异常行为； 在所述重叠度小于所述预设重叠度的情况下， 确定所述图像序列中不存在所述异常行 为。 4.根据权利要求3所述的异常行为的检测方法， 其特征在于， 所述在所述重叠度 大于预 设重叠度的情况 下， 确定所述图像序列中存在所述异常行为之后， 还 包括： 输出报警信息， 所述报警信息用于指示所述图像序列中存在所述异常行为。 5.根据权利要求1 ‑4中任一项所述的异常行为的检测方法， 其特征在于， 所述根据识别 模型识别所述图像序列中的作业设备以及目标对象， 得到识别结果之前， 还 包括： 将所述图像序列中的待测图像转换为字节流图像； 将所述字节流图像转换为图像矩阵； 所述根据识别模型识别所述图像序列中的作业设备以及目标对象， 得到识别结果， 包 括： 根据识别模型识别所述图像矩阵中的作业设备以及目标对象， 得到识别结果。 6.根据权利要求1 ‑4中任一项所述的异常行为的检测方法， 其特征在于， 所述根据识别 模型识别所述图像序列中的作业设备以及目标对象， 得到识别结果之前， 还 包括： 获取多张样本图像， 所述样本图像至少包括所述作业设备和目标对象； 针对每张样本 图像， 响应于用户对样本 图像的操作， 用标注框对所述样本 图像中的所 述作业设备和所述目标对象进行 标注， 得到标注样本； 针对每个所述标注样本 中的标注框， 根据 预设坐标顺序协议对所述标注框的特征点在 预设坐标系中的标注坐标进行排序， 得到标注坐标序列； 所述预设坐标系为沿第一方向延 伸的第一坐标轴和沿第二方向延伸的第二坐标轴构建成的直角坐标系； 将所述标注坐标序 列添加至对应的所述标注样本中； 根据每张所述样本图像及每张所述样本图像对应的所述标注样本， 构建训练样本；权　利　要　求　书 1/3 页 2 CN 115063739 A 2利用多个所述训练样本对预设模型进行训练， 得到识别模型。 7.根据权利要求6所述的异常行为的检测方法， 其特征在于， 所述标注框的形状为多边 形。 8.根据权利要求6所述的异常行为的检测方法， 其特征在于， 所述根据每张所述样本图 像及每张所述样本图像对应的所述标注样本， 构建训练样本之后， 还 包括： 利用自动数据增强算法， 对所述训练样本进行处理， 得到处理后的训练样本， 所述自动 数据增强算法包括平 移、 缩放、 旋转、 掩码、 亮度对比度调整中的至少一种； 所述利用多个所述训练样本对预设模型进行训练， 得到识别模型， 包括： 利用多个处 理后的训练样本对预设模型进行训练， 得到识别模型。 9.根据权利要求6所述的异常行为的检测方法， 其特征在于， 所述利用多个所述训练样 本对预设模型进行训练， 得到识别模型， 包括： 步骤A1： 利用预设模型识别所述训练样本中的作业设备以及目标对象， 得到预测识别 结果； 所述预测识别结果包括所述作业设备的预测检测框的特征点在预设坐标系中的预测 坐标， 以及所述目标对象的预测检测框的特 征点在预设坐标系中的预测坐标； 步骤A2： 根据所述预设坐标顺序协议对所述预测坐标进行排序， 得到预测坐标序列； 步骤A3： 根据所述预设坐标序列以及标注坐标序列， 确定所述预设模型的损失函数； 步骤A4： 在所述损失函数满足预设训练停止条件的情况 下， 停止训练， 得到识别模型； 步骤A5： 在所述损失函数不满足预设训练停止条件的情况下， 调整所述预设模型的模 型参数， 并返回所述 步骤A1， 直至所述损失函数满足预设训练停止条件， 得到识别模型。 10.根据权利要求9所述的异常行为的检测方法， 其特征在于， 所述标注框的特征点至 少包括： 标注框的顶点 坐标。 11.根据权利要求10所述的异常行为的检测方法， 其特征在于， 在所述标注框不是矩形 框的情况 下， 所述标注框的特 征点还包括所述标注框的最小外 接矩形的中心坐标。 12.根据权利要求11所述的异常行为的检测方法， 其特征在于， 所述标注框的形状为 四 边形， 所述针对每个所述标注样本中的标注框， 根据预设坐标顺序协议对所述标注框的特 征点在预设坐标系中的标注坐标进行排序， 得到标注坐标序列， 包括： 步骤B1： 针对每个所述标注样本中的标注框， 确定所述标注框中在所述第一坐标轴上 的坐标最小的顶点 为第一目标顶点； 步骤B2： 将所述第一目标顶点与除所述第一目标点以外的其他顶点连接， 得到第一线 段、 第二线 段和第三线 段； 将所述第一线 段、 所述第二线段和所述第三线段中最长线段对应 的其他顶点作为第三 目标顶点； 将除所述第一 目标顶点以及所述第三 目标顶点之外， 沿所 述第二方向靠近原点的顶点作为第二 目标顶点； 将除所述第一 目标顶点、 所述第二 目标顶 点和所述第三目标顶点以外的顶点作为第四目标顶点； 步骤B3： 将所述第 二目标顶点与所述第四目标顶点连接， 得到第四线段； 在目标线段的 斜率不为无穷大的情况下， 将所述目标线段上所述第一坐标轴上的坐标最小的顶点作为所 述第一目标顶点， 循环 步骤B2， 直至确定所述第二目标顶点、 所述第三目标顶 点以及所述第 四目标顶点； 在所述 目标线段的斜率为无穷大 的情况下， 将所述 目标线段上所述第二坐标 轴上的坐标最小的顶点作为所述第一目标顶点， 循环步骤B2I， 直至确定所述第二目标顶 点、 所述第三 目标顶点以及所述第四目标顶点； 所述 目标线段为所述第四线段和所述最长权　利　要　求　书 2/3 页 3 CN 115063739 A 3