(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210988226.1 (22)申请日 2022.08.17 (71)申请人 龙芯中科 （南京） 技 术有限公司 地址 210000 江苏省南京市江北新区星火 路19号11栋101室 (72)发明人 马莞悦　朱宏勋　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 张芳　刘芳 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01) (54)发明名称 目标检测方法、 装置、 电子设备及 介质 (57)摘要 本申请提供的目标检测方法、 装置、 电子设 备及介质中， 根据最顶层的特征图和包括除最顶 层之外的至少一个层级的特征图的特征图集合， 获得包括最顶层的特征图以及最顶层的特征图 与特征图集合的融合结果的多个融合特征图， 将 每个融合特征图输入区域建议网络， 得到多个目 标检测框， 再依据目标识别网络对多个目标检测 框下的目标进行识别， 获得目标识别结果。 本方 案能够提高目标检测的准确率。 权利要求书3页 说明书14页 附图5页 CN 115393682 A 2022.11.25 CN 115393682 A 1.一种目标检测方法， 其特 征在于， 包括： 对输入图像进行特征提取， 获得各层级下的特征图； 其中， 所述特征图的层级与所述特 征图的语义信息正相关； 根据最顶层的特征图和特征图集合， 获得多个融合特征图； 所述多个融合特征图包括 所述最顶层的特征图以及所述最顶层的特征图与特征图集合的融合结果； 每个特征图集合 包括除最顶层之外的至少一个层级的特 征图； 将每个融合特征图和所述输入图像输入区域建议网络， 以使得所述区域建议网络根据 所述融合特征图和所述输入图像进行目标检测， 得到所述每个融合特征图对应的目标检测 框； 将所述目标检测框映射至所述目标检测框对应的融合特征图， 得到每个融合特征图对 应的区域特 征图； 所述区域特 征图包括所述目标检测框映射在所述融合特 征图中的区域； 将所述输入图像和每个融合特征图对应的区域特征图输入目标识别网络， 得到多个目 标识别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述特征图集合的数量为多个， 且各所述 特征图集合中的特 征图不完全相同。 3.根据权利要求2所述的方法， 其特征在于， 所述根据最顶层的特征图和特征图集合， 获得多个融合特 征图， 包括： 针对最顶层， 基于最顶层的特 征图获得融合特 征图； 针对除最顶层以外的预定层级， 将所述最顶层的特征图与所述预定层级对应的特征图 集合进行融合， 将 融合结果作为融合特征图， 直至所有所述预定层级经过融合； 其中， 每个 所述预定层级对应的特征图集合包括除最顶层以外， 不低于所述预定层级的所有层级 下的 特征图。 4.根据权利要求3所述的方法， 其特征在于， 所述预定层级为最顶层的下一层级的多个 连续相邻的层级中的其中一层级； 所述针对除最顶层以外的预定层级， 将最顶层的特征图 与所述预定层级对应的特征图集合进行融合， 将 融合结果作为所述融合特征图， 直至所有 所述预定层级经 过融合， 包括： 对所述最顶层和所述预定层级对应的特征图进行卷积处理， 以使处理后的所述最顶层 和所述预定层级对应的特 征图的通道数一 致； 将所述最顶层的特征图作为所述最顶层的融合特征图， 并自上向下依次针对每个所述 预定层级， 执行以下 处理： 对所述预定层级的上一层级的融合特征图进 行上采样； 所述上采 样得到的特征图与所述预定层级 下的特征图的尺 寸一致； 将所述预定层级 下的特征图与所 述上采样得到的特 征图进行融合， 得到所述预定层级对应的融合特 征图。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述最顶层和所述预定层级对应的 特征图进行 卷积处理， 包括： 分别将所述最顶层和每个所述预定层级对应的特征图， 与第一数量个1x1卷积核进行 卷积运算； 所述第一数量 为卷积处 理后的特 征图的通道数。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述对输入图像进行特征提取， 获得各层级下的特 征图， 包括： 将所述输入图像输入残差网络， 获得所述残差网络输出的所述各层级下的特征图； 所权　利　要　求　书 1/3 页 2 CN 115393682 A 2述残差网络包括多个连续阶段的残差块， 当前阶段的残差块的输出为下一阶段的残差块的 输入， 各阶段 的所述残差块输出 的特征图作为所述各层级下 的特征图； 所述残差网络是基 于所述残差块的输出与输入的差 趋近于零进行训练的。 7.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述以使得所述区域建议网络根 据所述融合特征图和所述输入图像进 行目标检测， 得到所述多个每个融合特征图对应的目 标检测框， 包括： 针对输入的融合特征图， 在输入图像中与 所述融合特征图的每个像素点对应的位置设 置具有预定尺度且比例不同的多个候选框； 其中， 不同融合特征图对应的尺度不同， 且融合 特征图的尺寸与尺度负相关； 确定所述多个候选框对应的区域类型， 并删除区域类型为背景类型的候选框， 得到目 标候选框； 其中， 所述区域类型包括前 景类型和背景类型； 对所述目标候选 框进行修 正过滤， 以获得 所述融合特 征图对应的目标检测框 。 8.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 将每个融合特征图对应的目标检 测框映射至所述融合特 征图， 得到所述多个融合特 征图对应的区域特 征图， 包括： 将每个所述融合特征图对应的目标检测框和所述融合特征图输入ROI  Align网络， 获 得所述ROIAlign网络输出的所述融合特征图对应的区域特征图； 其中， 所述ROI  Align网络 用于： 依据所述融合特征图的尺寸与所述输入图像的尺寸的比值， 调整所述融合特征图对应 的目标检测框的尺寸； 将调整后的目标检测框映射至所述融合特征图， 提取所述目标检测框对应的区域特征 图； 基于双线性差值法， 将所述区域特 征图调整至预定尺寸。 9.一种目标检测装置， 其特 征在于， 包括： 特征提取模块， 用于对输入图像进行特征提取， 获得各层级下的特征图； 其中， 所述特 征图的层级与所述特 征图的语义信息正相关； 特征融合模块， 用于根据最顶层的特征图和特征图集合， 获得多个 融合特征图； 所述多 个融合特征图包括所述最顶层的特征图以及所述最顶层的特征图与特征图集合的融合结 果； 每个特征图集合包括除最顶层之外的至少一个层级的特 征图； 目标检测框生成模块， 用于将每个融合特征图和所述输入图像输入区域建议网络， 以 使得所述区域建议网络根据所述融合特征图和所述输入图像进行目标检测， 得到所述每个 融合特征图对应的目标检测框； 目标检测模块， 用于将所述目标检测框映射至所述目标检测框对应的融合特征图， 得 到每个融合特征图对应的区域特征图； 所述区域特征图包括所述目标检测框映射在所述融 合特征图中的区域； 目标识别模块， 用于将所述输入图像和每个融合特征图对应的区域特征图输入目标识 别网络， 得到多个目标识别结果。 10.一种电子设备， 其特 征在于， 包括： 处 理器， 以及与所述处 理器通信连接的存 储器； 所述存储器存储计算机执 行指令； 所述处理器执行所述存储器存储的计算机执行指令， 以实现如权利要求1 ‑8中任一项权　利　要　求　书 2/3 页 3 CN 115393682 A 3