(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210007092.0 (22)申请日 2022.01.05 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 申请人 陕西理工大 学 (72)发明人 王兰美　王桂宝　魏兵　张仲鹏　 孙长征　陈正涛　 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种改进的轻量化YOLOv4人脸口罩检测方 法 (57)摘要 本发明公开了一种改进的轻量化YOLOv4人 脸口罩检测方法， 针对实际有效感受野远小于理 论感受野， 当目标占据整张图片一半以上大小 时， 由于实际有效感受野的限制， 网络的检测 效 果不好； 新 设计的SPP 模块由四个池化层组成， 将 输入特征图分别经过四层池化， 每一层池化后的 输出特征图的感受野进一步扩大， 同时也将池化 后的多张不同感受野的特征图进行特征融合操 作， 实现了局部高级语义特征的多尺度利用； 将 新设计的SPP模块嵌入至YOLOv4 ‑Tiny骨架网络 后面， FPN结构前面， 构成SPP ‑YOLOv4‑light网 络， 利用SPP模块将网络深层的感受野进一步扩 大， 同时将骨架网络提取到的特征进行多尺度池 化后融合， 在通用数据集上进行训练和测试， 验 证了本发明方法提高了人脸口罩的检测精度。 权利要求书2页 说明书7页 附图6页 CN 114419705 A 2022.04.29 CN 114419705 A 1.一种改进的轻量化YOLOv4人脸口罩检测方法， 基于AIZOO与RMFD通用数据集的人脸 口罩检测定位， 其特 征在于： 步骤一、 下载人脸口罩检测的公开数据集AIZOO、 RMFD， 由于数据集中的照片质量参次 不齐， 本发明从公开的AIZOO、 RMFD人脸识别数据集选取分辨率大于608*608的戴有口罩的 人脸照片或者未戴口罩照 片， 构建了本发 明使用的人脸口罩数据集AIFM数据集， 其中AIZOO 数据集的下载地址： https://github.com/AIZOOTech/FaceMaskDetection， RMFD数据 集的 下载地址： ht tps://github.com/X ‑zhangyang/Real ‑World‑Masked‑Face‑Dataset； 由于目前针对于人脸口罩检测的公开数据集较少， 照片质量也参次不齐， 本发明从公 开的AIZOO、 RMFD人脸识别数据集选取分辨率大于608*608的戴有口罩的人脸照片或者未戴 口罩照片， 构建了本发明使用的人脸口罩数据集A IFM； 本发 明数据集共分为两类： 戴口罩人 脸目标和未戴口罩人脸目标， 共包含照 片11208张， 数据集中包含不同场景下戴口罩人脸目 标7933个， 未戴口罩人脸目标13 651个， 将测试集、 验证集与训练集按照6:2:2的比例划分； 步骤二、 使用标准YOLOv4 ‑Tiny网络训练与检测人脸口罩， 对步骤一人脸口罩数据 集进 行训练， 下载标准YOLOv4 ‑Tiny网络并进行编译， 标准YOLOv4 ‑Tiny网络的下载地址： https://github.com/AlexeyAB/darknet， 为人脸口罩数据AIFM更改cfg文件夹中 aifm.data文件中的训练集、 验证集、 测试集目录， 并指 定类别数量与类别名称； 根据精度要 求设定迭代次数为9000， 根据本次实验数据集加载aifm.data， 同时加载YOL Ov4‑Tiny.cfg， 程序即可开始训练， 保存训练过程中各层的权重文件Q1， 作为训练结束后检测的权值输入 文件； 利用权重文件Q1进行测试， 得到均值平均精度(Mean  Average Precision,mAP)、 召回 率(Recall)与检测时的帧率(Frame  Per Second， FPS)； 当目标占据整张图片一半以上大小 时， 由于实际有效感受野的限制， 网络的检测效果并不佳； 训练过程具体如下： 1)构建YOLOv4 ‑Tiny网络模型， 使用Initialization函数进行神经网络各层权值参数 的初始化； YOLOv4‑Tiny由四个部分组成， 分别是： (1)Input输入端： 指输入网络原始样本数据； (2)BackBone网络： 指进行特征提取操作的卷积神经网络结构； (3)Neck颈部： 对主干网络提 取的图像特征进行融合， 并将融合后的特征传递到预测层； (4)Head头部： 对图像中的感兴 趣目标物体进行 预测， 并生成可视化的预测框与目标类别； 下载标准YOLOv4 ‑Tiny网络后， 对YOLOv4 ‑Tiny网络使用make命令进行编译， 形成可执 行文件darknet； 为人脸口罩数据集AIFM编辑cfg文件夹中aifm.data文件， 将class、 train、 valid、 names字 符串改为对应数据集的目录与参数， 这样就编辑好了标准YOLOv4 ‑Tiny网络 Input部分需要的参数， 设定迭代阈值后， 根据本次实验数据集加载aifm.data， 同时加载 yolov4‑tiny.cfg， 程序即可开始训练， 程序在运行时会使用Initialization函数进行神经 网络各层权值 参数的初始化； 2)从Input部分输入图片数据， 经过Backbone部分， 最终输出两个尺度的特征图， 并使 用分类器输出预测框Pb1与分类概 率CPx； 从Input部分输入图片数据， 经过Backbone部分， 最终输出两个尺度的特征图， 将两种 不同尺度的特征图送入 FPN组成的Neck部 分， 并将融合后的特征传递到预测层中， 与此同时 Head部分完成目标的分类并输出 预测框Pb1与分类概 率CPx， 其中x为每 个分类的索引；权　利　要　求　书 1/2 页 2 CN 114419705 A 23)对这些数据进行IoU与NMS后处理， 将预测框Pb2与真实框Gtb对比， 并使用Adam算 法进 行神经网络各层权值更新； 经过Backbone网络生成的预测框Pb1数量太大， 对图片中同一物体有大量检测框存在， 造成检测结果冗余； YOLOv4 ‑Tiny的Head部分会同时完成预测框与其对应的分类概率； 对这 些数据进行IoU与NMS后处理， 得到处理好的数据； 这里使用的IoU与NMS为标准YOLOv4 ‑Tiny 的CIoU_loss与NMS； 经过这些后处理后就可以得到感兴趣目标 的预测框Pb2与其对应的分 类概率CPx； 同时， 使用Adam算法使用后处理过程中得到的loss进行神经网络各层权值更 新； 4)循环执行步骤2)和3)继续迭代至迭代阈值， 停止训练， 输出记录每一层权重与偏移 的文件Q1； 利用Q1得到的权 重与偏移对测试集进行检测， 计算得到mAP、 Recal l与FPS； 本发明按照精度要求设置迭代阈值为9000， 迭代次数小于阈值时， 使用Adam算法进行 网络各层权值更新， 直到阈值达到9000时停止训练， 计算mAP与Recall， 输出记录每一层权 重与偏移的文件Q1； 当目标占据整张图片一半以上大小时， 由于实际有效感受野的限制， YOLOv4 ‑Tiny网络 的检测效果并不佳； 因而本发 明针对实际有效感受野不 足这一特点， 采用新设计的SPP模块 来增强网络深层的语义信息和 增大实际有效感受野， 弥补感受野的不足； 步骤三、 采用新设计的SPP模块设计SPP ‑YOLOv4‑light网络增强网络深层的语义信息 和增大实际有效感受野， 弥补感受野的不足， 新设计的SPP模块由四个池化层组成， 池化窗 口大小分别为(3 ×3)、 (5×5)、 (7×7)和(10×10)， 将输入特征图分别经过四层池化， 每一 层池化后的输出特征图的感受野进一步扩 大， 同时采用SAME  Padding填充的方式保持池化 前后的特征图尺 寸不变， 最后经过Concat 合并起来得到最 终的输出特征图； 此SPP模块不仅 通过引入池化层扩大了感受野， 同时也将池化后的多张不同感受野的特征图进行特征融合 操作， 实现了局部高级语义特征的多尺度利用； 将上述SPP模块嵌入至YOLOv4 ‑Tiny骨架 网 络后面， FPN结构前面， 在网络深层利用SPP模块将网络深层的感受野进一步扩大， 同时也可 以将骨架网络提取到的特征进行多尺度池化后融合， 有利于整体网络的特征融合， 改进后 的网络称为SPP ‑YOLOv4‑light网络； 使用步骤一中的AIFM人脸口罩数据集进行训练， 迭代 至迭代阈值， 使用Adam算法更新神经网络各层权重， 得到权重文件Q2； 利用权重文件Q2进行 测试， 得到mAP、 Recal l与FPS； 步骤四、 将步骤二与步骤三模型性能的检测结果进行对比， 包括模型检测精度、 模型检 测速度、 模型检测召回率、 模型权重文件大小， 并查看步骤二与步骤三 实际检测的数据集中 的图像， 分析检测结果。权　利　要　求　书 2/2 页 3 CN 114419705 A 3