(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210212341.X (22)申请日 2022.03.04 (71)申请人 亿达信息技 术有限公司 地址 116085 辽宁省大连市高新 技术产业 园区七贤岭汇贤园1号 (72)发明人 文瑞　李震洲　赵万民　张丽燕　 (74)专利代理 机构 大连星河彩舟专利代理事务 所(普通合伙) 2126 3 专利代理师 刘斌　杨阳 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 行人图像的检测网络、 检测方法、 训练方法、 电子设备和介质 (57)摘要 行人图像的检测网络、 检测方法、 训练方法、 电子设备和介质， 属于图像检测领域， 为了提高 行人图像中行人检测准确率， 解决行人遮挡问 题， 要点是通过将特征图以相互独立的方式进行 三个并行卷积操作， 获取检测图像的中心热图、 比例图和偏移预测图； 根据所述中心热图、 比例 图和偏移预测图， 预测行人的中心点、 行人高度、 行人宽度和偏移量； 响应于所述预测行人的中心 点、 行人高度、 行人宽度和偏移量， 获取检测图像 的行人坐标， 得到图像中行人的预测框， 效果是 比现有网络模 型具有更高的检测精度， 并且对于 行人遮挡的情况也能有较好的处 理。 权利要求书3页 说明书14页 附图3页 CN 114724175 A 2022.07.08 CN 114724175 A 1.一种行 人图像检测方法， 其特 征在于， 包括 将检测图像所提取的行人图像特征图M0， 通过相互独立的方式分别进行特征融合操作 和注意力机制操作， 获取具有 上下文信息及位置信息的特征图M1和具有不同感受野信息的 特征图M2， 通过将所述具有不同感受野信息的特征图M2 顺序地进行卷积和Sigmoid操作， 获 取带有注意力机制的特 征图MAtt， 通过将所述带有注意力机制的特征图MAtt与所述具有上下文信息及位置信息的特征图 M1进行乘积累加操作， 获取 特征图Frefine； 通过将所述特征图Frefine以相互独立的方式进行三个并行卷积操作， 获取检测图像的 中心热图、 比例图和偏移预测图； 根据所述中心热图、 比例图和偏移预测图， 预测行人的中心点、 行人高度、 行人宽度和 偏移量； 响应于所述预测行人的中心点、 行人高度、 行人宽度和偏移量， 获取检测图像的行人坐 标， 得到图像中行 人的预测框 。 2.一种行 人图像检测网络， 其特 征在于， 包括残差网络、 注意力模块、 特 征融合模块和检测头， 所述的残差网络用于提取检测图像的行 人图像特 征图M0， 所述的注意力模块用于获取 具有上下文信息及位置信息的特 征图M1， 所述的特 征融合模块用于获取 具有不同感受野信息的特 征图M2， 检测头用于对所述特征图M1、 特征图M2操作， 获取检测图像的中心热图、 比例图和 偏移 预测图， 行人坐标计算模块， 用于获取检测图像的行 人坐标， 得到图像中行 人的预测框 。 所述的检测头对所述特 征图M1、 特 征图M2操作基于如下 方式实现： 通过将所述具有不同感受野信息的特征图M2顺序地进行卷积和Sigmoid操作， 获取带 有注意力机制的特 征图MAtt， 通过将所述带有注意力机制的特征图MAtt与所述具有上下文信息及位置信息的特征图 M1进行乘积累加操作， 获取 特征图Frefine； 通过将所述特征图Frefine以相互独立的方式进行三个并行卷积操作， 获取检测图像的 中心热图、 比例图和偏移预测图。 3.根据权利要求1所述的行 人图像检测网络， 其特 征在于， 所述残差网络包含依次连接的四个阶段， 分别为Conv1、 Conv2_x、 Conv3_x、 Conv4_x， Conv1输入为H ×W， 包含1个卷积核为7 ×7， 步长为2的卷积层， 输出尺寸为H ×W； Conv2_x输 入为H×W， 包含三个残差块与一个池化层， 每个残差块里有三个卷积层， 三个卷积核 大小依 次为1×1、 3×3、 1×1， 池化层为2 ×2大小的最大池化操作， 输出尺寸为H/2 ×W/2； Conv3_x 输入为H/2 ×W/2， 包含依次连接的四个残差块与一个池化层， 输出尺寸为H/4 ×W/4； Conv4_ x部分输入为H /4×W/4， 包含依次连接的六个残差块与一个池化层， 输出尺寸 为H/8×W/8； 所述的特征融合模块由上采样单元组成， 所述的上采样单元包括1个2 ×2的上采样卷 积层、 特征连接层、 1个1 ×1卷积层、 以及1个3 ×3卷积； 所述的注意力模块由上采样单元与SKNet单元组成， 所述的上采样单元包括1个2 ×2的权　利　要　求　书 1/3 页 2 CN 114724175 A 2上采样卷积层、 特征连接层、 1个1 ×1卷积层、 以及1个3 ×3卷积， 所述的SKNet单元主要包含 分裂(Spl it)、 融合(Fuse)、 选择(Select)三个操作。 4.根据权利要求2所述的行 人图像检测网络， 其特 征在于， 特征融合模块的输入为所述残差网络的Conv4_x的输出， 输入尺寸为H/8 ×W/8， 特征融 合模块首先对残差网络的Conv4_x的特征图进行2倍的上采样， 将Conv4_x与Conv3_x特征图 连接在一起， 对 连接后的特征图进行两次卷积核为3 ×3的卷积操作， 输出尺 寸为H/4×W/4； 然后将卷积操作后的特征图进 行2倍的上采样， 将上采样后的特征图与Conv2_x特征图连接 在一起， 对连接后特征图进行两次卷积核为3 ×3的卷积操作， 输出尺 寸为H/2×W/2； 最后将 卷积后的特征图进行2倍的上采样， 将上采样后的特征图与Conv1_x特征图连接在一起， 对 连接后特 征图进行两次卷积核为3 ×3的卷积操作， 得到尺寸 为H×W的特征图M1； 注意力模块的输入为所述残差网络的Conv4_x的输出， 输入尺寸为H/8 ×W/8， 注意力 模 块首先对Conv4_x的特征图进行2倍的上采样， 将 Conv3_x的特征图放入SKNet模块中得到特 征图M2‑1， 将Conv4_x与特征图M2 ‑1特征图连接在一起， 对 连接后的特征图进行两次卷积核 为3×3的卷积操作， 输出尺寸为H/4 ×W/4； 然后将卷积后的特征图进行2倍的上采样， 对 Conv2_x的特征图放入SKNet模块中得到特征图M2 ‑2， 将上采样后的特征图与特征图M2 ‑2连 接在一起， 对连接后特征图进 行两次卷积核为3 ×3的卷积操作， 输出尺 寸为H/2×W/2； 最后 将卷积后的特征图进行2倍的上采样， 把Conv1_x的特征图放入SKNet模块中得到特征图M2 ‑ 3， 将上采样后的特征图与特征图M2 ‑3连接在一起， 对连接后特征图进行两次卷积核为3 ×3 卷积操作， 得到尺寸 为H×W的特征图M2； 检测头对注意力模块输出的特征 图M2进行1 ×1卷积和Sigmoid操作， 生成带有注意力 机制的特征图MAtt； 接着将特征图MAtt与特征图M1进行矩阵乘法操作， 得到特征图Frefine； 最 后在特征图Frefine后加入三个并行1 ×1卷积层， 得到检测图像的中心热图、 比例图和偏移预 测图。 5.根据权利要求 4所述的行 人图像检测网络， 其特 征在于， 所述SKNet模块由多个S K卷积单元堆叠而成， 其中S K卷积操作由Sp lit， Fuse， S elect三 个模块组成， 首先通过Split操作分别通过3 ×3和5×5大小的SK卷积核对C ×W×H的特征图 X进行分组卷积操作和空洞卷积， 输出 和 Fuse操作将2个特征图进行element ‑ wisesummation融合后 先通过全局平均池化生成C ×1×1的特征向量S， C为通道数， 特征 向 量S经过先降维再升维的两全连接层后形成d ×1×1的向量Z； Select模块将向量Z通过2个 Softmax函数回归出通道之间的权重信息矩阵a和矩阵b， 并使用a和b对2个特征图 和 进 行加权操作， 然后求和得到最终尺寸大小为 W×H的输出特征图。 6.一种行 人图像检测网络的训练方法， 其特 征在于， 包括 获取行人数据集， 根据所述行人数据集得到数据集中行人图像的图集， 所述图集包括中心图、 比例图和 偏移图， 所述中心图为包括行人中心 点的图， 所述比例图为包括行人长宽比信息的图， 所述 偏移图为包括行人中心 点偏移量信息的图， 所述行人中心点为所述行人数据集被框选行人 图像的中心点； 将所述行人数据集输入网络中获取输出特征图， 所述网络包括依次连接的残差网络、权　利　要　求　书 2/3 页 3 CN 114724175 A 3