(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210062828.4 (22)申请日 2022.01.19 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 王亮　孙李程　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 刘萍 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06T 3/40(2006.01) (54)发明名称 一种基于隐式表达的安全帽 配戴检测方法 (57)摘要 一种基于隐式表达的安全帽配戴检测方法， 属于安全帽配戴检测系统领域。 包括以下步骤： (1)采用Mo saic数据增强与自适应图片缩放将数 据集随机拼接以及随机打散的方法对数据集进 行预处理， (2)构建隐式与显示信息结合的目标 框类别分类和预测框位置回归任务的神经网络， (3)训练隐式与显示信息 结合的目标框类别分类 和预测框位置回归任务的神经网络， (4)进行安 全帽配戴检测。 本发明针对施工现场的视角畸 变、 尺度变化、 内遮挡和场景复杂， 现有安全头盔 佩戴检测精度低的问题， 提出了一种基于特征图 金字塔网络与路径聚合网络框架， 将隐式和显式 信息相结合， 以增强上下文特征信息的能力； 在 保证高准确率的同时仍然能够实时检测。 权利要求书3页 说明书6页 附图2页 CN 114463676 A 2022.05.10 CN 114463676 A 1.一种基于隐式表达的安全帽 配戴检测方法， 其特 征在于包括以下步骤： 步骤1： 构建数据集并进行预处理具体如下： 利用RGB相机采集施工场地中配戴或未配 戴安全帽的工人进行拍摄并利用标注工具软件进行标注制作数据集或利用已有公开数据 集构造训练数据集 通过Mosaic数据增强、 自适应图片缩放的方式实现数据扩增与增强 步骤2： 构建隐式与显示信息结合的目标框类别分类和预测框位置回归任务的神经网 络， 所述的构建隐式与显示信息结合的目标框类别分类和预测框位置回归任务的神经网络 包括局部特征提取模块， 局部特征提取模块， 隐式信息引导模块， 以及输出模块， 其中显示 信息是卷积神经网络可以直接提取到的特 征信息即为显示信息； 所述局部特征模块体现在通道上跨阶段的将局部特征提取出来， 通过将梯度的变化从 头到尾地集成到特征图中操作是将特征图拆成两个部分， 然后这两部 分通过卷积操作后的 特征信息进行通道维度的拼接； 所述上下文特征 聚合模块表示对输入图像使用三种滤波器尺寸为2 ×2、 4×4、 6×6， 步 长均为1的pooling结构， 然后采用不同的传递路径将梯度信息进行传递， 进而优化重复的 梯度信息最后输出 特征聚合图； 所述隐式信 息引导模块表示在训练或者预测阶段开始前初始化成一组常数张量， 通过 内隐信息对网络进行细化， 将显式知识和隐式知识结合起来融入到网络结构中的训练过程 去,而隐式表达被应用到特征图金字塔网络特征对齐， 预测细化和在图像中安全帽大小显 示为占整个图像的0到1/8,1/8到1/4， 1/4到1/2,1/2到全部的多目标的学习在多场 景多种 不同安全帽大小的训练中， 为了对齐神经网络的每个输出Kernel  space， 特征图金字塔网 络融合后的特征金字塔图与隐式表 示之间被进 行加法和乘法， 这就意味着Kernel  space被 平移、 旋转和缩放隐式信息将添加到输出模块进行细化， 具体操作是： 通过引入加法， 可以 使神经网络预测中心 坐标的偏移 量； 引入乘法来自动计算锚点的超参数集当遇到多安全帽 检测问题的时候， 安全帽大小显示为占整个图像的0到1/8与 1/2到整个尺寸一起进行预测 所采用的输出检测也不一样， 因此在训练过程中， 常常出现不同安全帽大小预测的任务之 间相互拉扯 为此通过在每 个预测分支中通过加入隐式表示 来引导训练； 输出模块有卷积神经网络组成， 用于整合整个网络层中具有类别区分性的局部信息， 将多尺度特征信息输入到输出模块中进行检测， 输出生成带有类别概率、 置信度得分和包 围框的最终输出向量， 并使用加权非极大值抑制将冗余的目标框抑制， 输出 的特征图上应 用目标框； 步骤3： 模型训练： 首先将预处理后的训练数据集输入到安全帽配 戴检测网络的模型中 进行前向传播训练； 然后， 将输出的预测结果和真实标签值输入到损失函数中， 利用批量梯 度下降法进行反向传播； 然后将输出预测标签值和真实标签值、 输出预测位置坐标和真实 位置坐标输入到交叉熵损失函数和GIOU中， 利用批量梯度下降法进行反向传播最后， 根据 梯度500次更新迭代模型的学习参数以获得最优的检测网络模型； 步骤4： 利用训练完成的分类网络模型进行安全帽 配戴检测方法。 2.根据权利要求1所述的安全帽配 戴检测方法， 其特征在于， 步骤1所述的预处理指： 预 处理过程通过Mosaic数据增强的方式将输入数据随机拼接与随机缩放的方式实现数据扩 增与增强， 提升模型的训练速度和网络的精度同时利用自适应图片缩放方法对输入图像缩 放到网络的输入大小 进行归一 化操作。权　利　要　求　书 1/3 页 2 CN 114463676 A 23.根据权利要求1所述的安全帽配戴检测方法， 其特征在于， 所述的局部特征提取具体 计算步骤如下： 局部特征模块体现在通道上跨阶段的将局部特征提取出来， 通过将梯度的变化从头到 尾地集成到特征图中具体操作是将特征图拆成两个部分， 一部分利用卷积核为1 ×1、 步长 为1的卷积操作， 另一部 分将特征图输入到两个卷积核为 1×1、 步长为 1的卷积操作、 批规范 操作与SILU激活函数中后， 然后采用残差卷积结构跨阶段地将局部特征提取出来， 再利用 卷积核为 1×1、 步长为 1的卷积操作调整通道数， 然后这部 分与上一部 分的输出结果进 行通 道维度的拼接 。 4.根据权利要求1所述的安全帽配戴检测方法， 其特征在于， 步骤1所述的上下文特征 聚合指对输入图像使用三种滤波器尺寸为2 ×2、 4×4、 6×6， 步长均为1的pooling结构， 采 用并行的传递路径将梯度信息进行传递， 而梯度流信息可以存在较大差异性的， 进而优化 重复的梯度信息最后与输入特征图通过卷积核为1 ×1、 步长为1的卷积操作后进行结合并 输出特征聚合图， 从而增强特 征表征能力多尺度上 下文聚合模块计算公式如下 所示： Output＝conv(concat(φmax(conv(f))； φmax(conv(f))； φmax(conv(f))； conv(f))+ conv(f)) 其中f代表输入特征图， conv(f)代表对输入图像f进行卷积核大小为1*1、 步长为1的普 通卷积操作， concat(x1； x2；…； xn)代表将输入特征图{x1,x2,…,xn}沿通道方向进行拼接， φmax计算如公式中所示， C表示特征图的总通道数， c表示特征图的通道数， φc表示特征图 第c个通道， (h,w)表示在空间中的位置， φc(h,w)则表示在第c个通道位于特征图中(h,w) 坐标的特 征信息。 5.根据权利要求1所述的安全帽配戴检测方法， 其特征在于， 所述的隐式信 息引导模块 引导训练指的是将在训练或者预测阶段开始前初始化的一组常数张量加入到特征图金字 塔网络核空间对齐， 应用于输出模块， 隐式信息将添加到输出模块进行细化具体操作是隐 式表达通过引入加法使神经网络预测中心 坐标的偏移 量， 即将中心 坐标位置平移， 如公式2 同时也引入乘法来自动计算锚点的超参数集， 将特征或预测框进行尺度变换， 即调整输入 图像中安全帽大小显示为占整个图像的0到1/8,1/8到1/4， 1/4到1/2,1/2到1多目标大小的 目标框进行尺度缩放， 如 公式1本发明设置学习率的取值范围[0,0.01],采用Adam优化器， 随机初始化模型的学习参数然后将输出预测标签值和真实标签值、 输出预测位置坐标和真 实位置坐标输入到交叉熵损失函数和GIOU中， 利用批量梯度下降法进行反向传播最后， 根 据梯度500次以上更新迭代模型的学习参数以获得最优的检测网络模型； 其中i表示网络模型的层数， Xi表示第i层的输入， σ 表示激活函数SILU， Wi表示第i层的 权重， bi为偏置， 为隐式表达式， 初始值为随机常数张量， 为了用来细 化网络模型但由 于是常数张量因此不增加计算复杂度Wi(Xi)+bi表示卷积神经网络， 表示 利用隐式表 达对特征 或预测框进行尺度变 换、 缩放操作， 表示网络模型权　利　要　求　书 2/3 页 3 CN 114463676 A 3