(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211053158.6 (22)申请日 2022.08.31 (71)申请人 广东电网有限责任公司广州供电局 地址 510620 广东省广州市天河区天河南 二路2号 (72)发明人 任杰　陈申宇　陈泽涛　王增煜　 刘秦铭　潘俊杰　朱诗迪　黄国钊　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 40/16(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G08B 21/18(2006.01) H04N 7/18(2006.01) (54)发明名称 基于特征物体与人体关键点的异常行为识 别方法、 系统及 介质 (57)摘要 本发明公开了一种基于特征物体与人体关 键点的异常行为识别方法、 系统及介质， 该方法 包括通过FCOS的特征物体检测方法检测出物体 所在位置； 根据获得的物体所在位置， 结合人员 工装穿戴检测 中得到人体关键点信息进行动作 预测； 结合FaceNet进行人脸识别； 输出告警结 果。 本发明针对传统人体行为监控平台人力物力 成本高、 反应时效慢且在进行视频行为算法研究 时， 难以快速切换场景及适应性的检测等缺陷。 可以准确地检测出被监控区域发生的异常行为 事件， 还能及时地发出相应的警报， 最大可能地 降低突发异常事件或事故带来的生命 财产损失， 实时高效的异常行为检测系统能大大提高监控 系统的智能化水平。 权利要求书2页 说明书5页 附图3页 CN 115482502 A 2022.12.16 CN 115482502 A 1.一种基于特 征物体与人体关键点的异常行为识别方法， 其特 征在于， 包括下述 步骤： 通过FCOS的特 征物体检测方法检测出物体所在位置； 根据获得的物体所在位置， 结合人员工装穿戴检测中得到人体关键点信 息进行动作 预 测； 结合FaceNet进行 人脸识别； 输出告警结果。 2.根据权利要求1所述的基于特征物体与人体关键点的异常行为识别方法， 其特征在 于， 所述通过FCOS的特 征物体检测出物体所在位置， 具体为： 将待检测物体当做特征点， 通过检测物体的中心点坐标以及表示物体的矩形框距离中 心点上下左右四个方向的距离来得到物体的位置表示； 得到一系列对目标物体的提议框之后， 使用非极大值抑制方法得到最终检测结果， 所 述提议框为通过检测物体的中心点坐标以及表示物体的矩形框距离中心点上下左右 四个 方向的距离矩形区域。 3.根据权利要求1所述的基于特征物体与人体关键点的异常行为识别方法， 其特征在 于， 所述根据获得的物体所在位置， 结合人员工装穿戴检测中得到人体关键点信息进行动 作预测， 具体为： 根据获得的物体所在位置， 结合人员工装穿戴检测中得到的人体关键点信息， 综合考 虑各个关键点之间的位置关系， 判断两者之间存在的语义逻辑， 进行违规行为检测。 4.根据权利要求3所述的基于特征物体与人体关键点的异常行为识别方法， 其特征在 于， 通过前后帧的检测信息进行动作预测， 具体为： 当初始帧开始检测到某一异常行为或者行为的一部分时， 对相邻的多个关键帧进行检 测， 若相邻帧中不存在异常行为的检测结果， 则放弃检测之后的连续关键帧图像； 若检测到 若多帧连续出现同一潜在违规行为， 则判定识别到特定违规行为。 5.根据权利要求1所述的基于特征物体与人体关键点的异常行为识别方法， 其特征在 于， 所述结合FaceNet进行 人脸识别， 具体为： 将每张人脸输入深度卷积神经网络， 映射到一个d维欧氏空间计算L2距离来代表人脸 相似性； 采用三元组损失函数判断输入人脸图片是否与样本库内人脸图片为同一个人； 输出结果。 6.根据权利要求5所述的基于特征物体与人体关键点的异常行为识别方法， 其特征在 于， 所述结合FaceNet进行人脸识别， 通过triplet  mining方法进行训练， 将相同人脸映射 出的特征向量的欧式距离尽量的靠近， 将不同人脸间特征向量的欧式距离尽量拉远， 完成 对人脸特 征向量的提取。 7.一种基于特征物体与人体关键点的异常行为识别系统， 其特征在于， 应用于权利要 求1‑6中任一项所述的基于特征物体与人体关键点的异常行为识别方法， 包括特征物体检 测模块、 人体关键点检测模块、 人脸识别模块以及结果输出模块； 所述特征物体检测模块用于通过 FCOS的特 征物体检测方法检测出物体所在位置； 所述人体关键点检测模块用于根据获得的物体所在位置， 结合人员工装穿戴检测中得 到人体关键点信息进行动作预测；权　利　要　求　书 1/2 页 2 CN 115482502 A 2所述人脸识别模块用于结合FaceNet进行 人脸识别； 所述结果输出模块用于 输出告警结果。 8.一种存储介质， 存储有程序， 其特征在于： 所述程序被处理器执行时， 实现权利要求 1‑6任一项所述的基于特 征物体与人体关键点的异常行为识别方法。权　利　要　求　书 2/2 页 3 CN 115482502 A 3