(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210209049.2 (22)申请日 2022.03.03 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 申请人 西安鲲鹏易飞无 人机科技有限公司 (72)发明人 潘浩天　张文博　姬红兵　李林　 臧博　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力机制的轻量级行人检测方 法 (57)摘要 本发明公开了一种基于注意力机制的轻量 级行人检测方法， 采集包含行人目标的图像数 据， 输入至已训练好的轻量级行人检测模型， 对 图像进行判断和预测， 得到行人目标的位置信 息； 其中， 轻量级行人检测模型采用轻量化 ShuffleNet网络以及PanNet中的轻量化FPEM网 络组 成的 网 络 结 构 作为 基 础框 架 ， 并 在 ShuffleNet的ShuffleBlock局部网络中嵌入混 洗注意力机制模块。 本发明具有体积小和运算速 度快的优点， 尤其适用于部署在类似手机端这样 的算力有限的边缘硬件上， 有效提高在算力有限 的边缘硬件上进行 行人目标检测的精度和速度。 权利要求书3页 说明书7页 附图3页 CN 114782980 A 2022.07.22 CN 114782980 A 1.一种基于注意力机制的轻量级行 人检测方法， 其特 征在于， 包括如下步骤： 步骤一： 训练轻量级行 人检测模型 所述轻量级行人检测模型采用轻量化ShuffleNet网络以及PanNet中的轻量化FPEM网 络组成的网络结构作为基础框架， 所述轻量化ShuffleNet网络作为轻量级 行人检测模 型的 主干网络， 所述轻量化FPEM网络作为轻量级行人检测模型的颈部网络； 其中， 在轻量化 ShuffleNet网络的ShuffleBolock局部网络中嵌入混洗注意力机制模块； 通过预设的损失 函数训练所述轻量级行 人检测模型； 步骤二： 采集包含行人目标的图像数据， 输入至训练好的轻量级行人检测模型， 通过所 述轻量级行 人检测模型对所述图像进行判断和预测， 得到行 人目标的位置信息 。 2.根据权利要求1所述基于注意力 机制的轻量级行人检测方法， 其特征在于， 在轻量化 ShuffleNet网络的ShuffleBolock局部网络中嵌入混洗注意力机制模块， 得到SA_ ShuffleBolck局部网络， 并形成由SA_Shuf fleBolck局部网络 叠加组成的重复单 元。 3.根据权利要求1所述基于注意力 机制的轻量级行人检测方法， 其特征在于， 所述轻量 化ShuffleNet网络是在ShuffleNet网络基础上去掉最后三层得到的， 所述最后三层包括： 1 ×1的卷积层， 7 ×7的全局池化层和一层全连接层； 所述轻量化FPEM网络是在PanNet中的FPEM网络的基础 上修改得到的， 其 中修改操作包 括： (1)将FPEM网络中的3次上采样和下采样操作改为2次上采样和下采样操作， 使输入图 像依次通过2、 4、 8倍上 下采样的尺度改变为依次通过2、 4 倍的上下采样尺度； (2)在FPEM网络上采样过程中， 将第一个加和操作后的一个步长为1  的深度可分离卷 积模块替换为一个1 ×1卷积层， 将第二个加和操作后的步长为1的深度可分离卷积模块去 除， 将第三个加和操作后步长为2的深度可分离卷积模块移动到第三个加和操作前， 将第四 个加和操作后步长为2的深度可分离卷积模块移动到第四个加 和操作前。 4.根据权利要求1所述基于注意力 机制的轻量级行人检测方法， 其特征在于， 所述混洗 注意力机制模块嵌入在Shuf fleBlock局部网络主干分支的最后一个卷积层之后。 5.根据权利要求1所述基于注意力 机制的轻量级行人检测方法， 其特征在于， 所述混洗 注意力机制模块执 行步骤如下： 步骤1： 先将输入的特 征图F按通道 尺度分组为 n个子特征图Fk， 其中0＜k≤n； 步骤2： 并行处理所有Fk， 对于每个子特征图Fk， 将其通道数一分为二得到特征图F ′k1和 F′k2， 利用混洗单元在空间维度的分支网络对F ′k1进行处理后得到Ms(F′k1)， 利用混洗单元 在通道维度的分支网络对F ′k2进行处理后得到Mc(F′k2)， 将Ms(F′k1)与F′k1逐点相乘得到空 间维度注意力机制的最终输出特征图Fsk， 将Mc(F′k2)与F′k2逐点相乘得到通道维度注意力 机制的最终输出 特征图Fck， 然后将特 征图Fsk和Fck拼接得到 子特征Ftk； 步骤3： 对所有子特征Ftk进行聚合得到Fa， 并采用通道混洗操作实现不同子特征之间的 信息融合， 得到混洗注意力机制处 理后的特 征图F′。 6.根据权利要求5所述基于注意力 机制的轻量级行人检测方法， 其特征在于， 所述最终 输出特征图Fck的获取包括如下步骤： 首先， 通过使用全局平均池化生成一维特征向量来获取全局信息， 其中全局平局池化 计算公式如下：权　利　要　求　书 1/3 页 2 CN 114782980 A 2其中， s为通过全局平均池化生成的一维特征向量， H和W为特征图F ′k2的高和宽， (i， j) 为特征图F′k2像素的坐标值； 其次， 通过参数W2和b2相关的线性函数对s进行处理得到fc(s)， 再通过sigmoid函数对fc (s)进行处 理得到Mc(F′k2)； 最后， 将Mc(F′k2)与F′k2逐点相乘得到通道维度注意力机制的最终输出特征图Fck， 计算 公式如下： Fck＝Mc(F′k2)·F′k2＝σ(fc(s))·F′k2＝σ(W2s+b2)·F′k2 其中， W2和b2是与s尺寸相同的一维向量， 用来缩放和位移s中的值， 其在模型训练的反 向传播过程中更新， σ 是sigmo id函数。 7.根据权利要求6所述基于注意力 机制的轻量级行人检测方法， 其特征在于， 所述最终 输出特征图Fsk的获取包括如下步骤： 首先， 采用组归一 化GN获得 F′k1的空间统计信息： 其中， t为通过组归一化GN操作生成的二维特征向量， cg为F′k1的通道数， (i， j)为F ′k1第 m个通道的特 征图F′k1m的像素坐标值； 其次， 通过参数W1和b1相关的线性函数对s进行处理得到fs(s)， 再通过sigmoid函数对fs (s)进行处 理得到Ms(F′k1)； 最后， 将Ms(F′k1)与F′k1逐点相乘得到空间维度注意力机制的最终输出特征图Fsk， 计算 公式如下： Fsk＝Ms(F′k1)·F′k1＝σ(fs(s))·F′k1＝σ(W1·t+b1)·F′k1 其中， W1和b1是和t尺寸相同的二维向量， 用来缩放和位移t中的值， 其在模型训练的反 向传播过程中更新。 8.根据权利要求1所述基于注意力 机制的轻量级行人检测方法， 其特征在于， 所述损失 函数LOSS由边框回归损失函数Lbox和置信度损失函数Lobj组成， 即： LOS S＝Lbox+Lobj。 9.根据权利要求1所述基于注意力 机制的轻量级行人检测方法， 其特征在于， 所述损失 函数LOSS由完全交并比损失函数LIoU和置信度损失函数Lobj组成， 即： LOSS＝LIoU+Lobj 所述完全交并比损失函数LIoU的表达式如下 所示： 权　利　要　求　书 2/3 页 3 CN 114782980 A 3