(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111538812.8 (22)申请日 2021.12.15 (71)申请人 山东鲁软数字科技有限公司 地址 250000 山东省济南市高新 技术产业 开发区新 泺大街20 08号银荷大厦 (72)发明人 刘立强　张建辉　张俊岭　刘涛　 魏光玉　谢吉伦　 (74)专利代理 机构 济南舜源专利事务所有限公 司 37205 专利代理师 赵佳民 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/32(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06T 3/40(2006.01) G06T 5/00(2006.01) G06T 7/00(2017.01) G06T 7/70(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 30/27(2020.01) (54)发明名称 一种面向电力焊接作业的防护面罩佩戴合 规性检测方法及系统 (57)摘要 本发明提供一种面向电力焊接作业的防护 面罩佩戴合规性检测方法及系统， 从电力作业视 频监控终端中实时获取视频流， 对视频流进行解 码并提取待检图像； 对所述待检图像进行预处理 操作； 将预处理后的图像输入YOLOv5模型， 获得 目标检测结果； 分析所述目标检测结果， 根据人 体、 面部、 防护面罩、 电焊 火花四种目标的相对位 置关系， 输出防护面罩佩戴状态的判断结果； 本 发明将将图像处理、 深度学习与电力作业视频监 控系统结合， 实时检测焊接作业中防护面罩的使 用情况， 有效保障安全生产作业。 本发明结合电 力作业视频监控系统， 分析实时视频数据， 达到 快速、 准确地判断防护面罩是否违规佩戴的目 的， 以促进电力焊 接作业施工更加安全、 有序。 权利要求书3页 说明书8页 附图6页 CN 114581810 A 2022.06.03 CN 114581810 A 1.一种面向电力焊接作业的防护面 罩佩戴合 规性检测方法， 其特 征在于， 方法包括： 步骤一、 从电力作业视频监控终端中实时获取视频流， 使用FFMPEG或OpenCV工具对视 频流进行解码并提取待检图像； 步骤二、 对所述待检图像进行 预处理操作； 步骤三、 将预处 理后的图像输入YOLOv5模型， 获得目标检测结果； 步骤四、 分析所述目标检测结果， 根据人体、 面部、 防护面罩、 电焊火花四种目标的相对 位置关系， 输出防护面 罩佩戴状态的判断结果； 所述判断结果包括三种， 一是违规佩戴， 具体包括未佩戴和已佩戴但防护面罩未有效 保护面部； 二是合规佩戴； 三是未知状态。 2.根据权利要求1所述的面向电力焊接作业的防护面罩佩戴合规性检测方法， 其特征 在于， 步骤五、 连续获取多帧， 并检测是否合规佩戴防护面罩： 若检测帧数小于设定的阈值N， 则重复步骤一至步骤四， 否则进行步骤六； 所述阈值N用于提升合规检测方法的鲁棒性， 根据实 际工程需求以及焊接作业监控相 机或监控视频的帧率f进行设置， N≥2f； 步骤六、 输出综合判定结果： 根据连续 N帧的防护面 罩佩戴状态， 输出综合判定结果； 所述结果包括两种情况， 若存在违规佩戴的帧数超过设定阈值P， 则判定该施工人员违 规佩戴防护面 罩； 反之， 则判定为该施工人员合 规佩戴防护面 罩。 3.根据权利要求1所述的面向电力焊接作业的防护面罩佩戴合规性检测方法， 其特征 在于， 步骤一中电力作业视频监控终端为作业区域的监控摄 像头。 4.根据权利要求1所述的面向电力焊接作业的防护面罩佩戴合规性检测方法， 其特征 在于， 步骤二中： 第一步进行图像增强， 包括高斯滤波和Gam ma变换； 所述高斯滤波用于降低图像噪声， Gam ma变化用于调整图像对比度； 第二步统一图像尺寸， 使用线性插值的方式缩放图像至 512×512； 最后将图像 像素值除以25 5实现归一 化处理。 5.根据权利要求1所述的面向电力焊接作业的防护面罩佩戴合规性检测方法， 其特征 在于， 步骤三中： YOLOv5为基于深度学习的目标检测网络； 检测结果包括人体、 面部、 防护面 罩、 电焊火花四种目标的类别、 置信度及最小矩形包围框 。 6.根据权利要求1或4所述的面向电力焊接作业的防护面罩佩戴合规性检测方法， 其特 征在于， 步骤三还 包括： (3.1)构建数据集： 分别构 建人体、 面部、 防护面罩、 电焊火花四种目标的训练集和测试 集； 使用FFMPEG或OpenCV工具从作业视频片段中提取关键帧图像， 将所述图像按7:3划 分权　利　要　求　书 1/3 页 2 CN 114581810 A 2为训练集和 测试集； (3.2)标注数据集： 采用开源目标检测标注工具LabelImg对图像中的目标进行最小包 围矩形框标注； 火花的面积定义 为火花在图像中所占的像素 数； (3.3)训练YOLOv5模型： 使用步骤(3.2)中 的训练集在 NVIDIA GPU上对YOLOv5模型进行 迭代训练； (3.4)评估模型： 训练结束后， 采用MS  COCO目标检测评估标准mAP对YOLOv5模型进行评 估； 若mAP指标小于阈值mAPth， 则重复步骤(3.3)对网络进行微调训练， 直至满足要求； 得到人体、 面部、 防护面 罩、 电焊火花四个YOLOv5目标检测模型； 反之， 终止训练。 7.根据权利要求1所述的面向电力焊接作业的防护面罩佩戴合规性检测方法， 其特征 在于， 步骤(3.3)中： batch size设置为64， ep och设置为300， 初始学习率设置为0.01， 学习率采用OneCycle 算法进行衰减， 使用随机梯度下降的方式训练网络 。 8.根据权利要求1所述的面向电力焊接作业的防护面罩佩戴合规性检测方法， 其特征 在于， 步骤四中： 如待测图像中无 人体， 人体目标检测模型输出 “无”， 合规性判断结束； 如存在人体但不存在电焊火花， 表明施工人员未进行焊接作业， 无需佩戴防护面罩， 合 规性判断结束； 如存在人体、 电焊火花但不存在防护面罩， 表明焊接作业人员正在焊接但未使用防护 面罩， 合规性判断输出 “违规”； 如存在人体、 电焊火花、 防护面 罩但不存在面部目标； 合 规性判断输出 “未知”。 9.根据权利要求8所述的面向电力焊接作业的防护面罩佩戴合规性检测方法， 其特征 在于， 步骤四中： 如存在人体、 电焊火花、 防护面罩及面部目标； 设置面部框与防护面罩框的水平距离为 d， 两者的水平方向投影并集 为U、 交集 为I； 防护面罩框为[xmin‑s,ymin‑s,xmax‑s,ymax‑s]， 面部框为[xmin‑f,ymin‑f,xmax‑f,ymax‑f] 水平距离 水平方向投影交集U＝max(ymax‑f,ymax‑s)‑min(ymin‑f,ymin‑s) 水平方向投影并集 I＝max(mi n(ymax‑f,ymax‑s)‑max(ymin‑f,ymin‑s),0) 水平方向投影交并比 合规佩戴防护面罩的判断条件为： d<dth， 且IOU>IOUth； 其中dth为水平距离阈值， IOUth为 水平方向投影交并比阈值； 违规佩戴防护面 罩的判断条件为： d>dth， 则防护面 罩距离面部超过设定的阈值； 违规佩戴防护面罩的判断条件为： ymin‑f>ymin‑s且IOU<IOUth； 施工环境中， 焊接火花通常权　利　要　求　书 2/3 页 3 CN 114581810 A 3