(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210210487.0 (22)申请日 2022.03.04 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 (72)发明人 樊盛华　瞿涛　郑昱津　陈曦　 汪鼎文　 (74)专利代理 机构 武汉智权专利代理事务所 (特殊普通 合伙) 42225 专利代理师 张凯 (51)Int.Cl. G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 车载图像目标检测方法、 系统及计算机可读 存储介质 (57)摘要 本发明公开了一种基于车载AI芯片的城市 目标检测的深度学习方法、 系统及计算机可读存 储介质， 涉及计算机视觉中的目标检测领域。 方 法包括以下步骤： 对训练后的所述深度卷积神经 网络进行模 型转换与量化处理， 生成车载端芯片 支持的WK格式文件； 车载端芯片读取、 加载所述 WK格式文件， 并初始化NNIE对象； 读取待检测的 目标图像， 使用所述NNIE对象对所述目标图像进 行转化并将数据转移到所述车载端芯片中进行 推理， 获得推理的多维向量数组； 对所述多维向 量数组进行NMS处理， 去除冗余框， 得到最终结 果。 可以解决现有的车载目标检测方法对于复杂 场景， 难以满足 实时使用的问题。 权利要求书2页 说明书7页 附图3页 CN 114663831 A 2022.06.24 CN 114663831 A 1.一种车 载图像目标检测方法， 其特 征在于， 包括以下步骤： 使用测试场景相同的数据作为训练集， 设定检测的目标类别数， 对预设的深度卷积神 经网络进行训练； 对训练后的所述深度 卷积神经网络进行模型转换与量化处理， 生成车载端芯片支持的 WK格式文件； 车载端芯片读取、 加载 所述WK格式文件， 并初始化 NNIE对象； 读取待检测的目标图像， 使用所述NNIE对象对所述目标图像进行转化并将数据转移到 所述车载端芯片中进行推理， 获得推理的多维向量数组； 对所述多维向量数组进行NMS处 理， 去除冗余框， 得到最终结果。 2.如权利要求1所述的车载图像目标检测方法， 其特征在于， 所述深度 卷积神经网络包 括基于dark net53的YOLO V3神经网络模型。 3.如权利要求2所述的车载图像目标检测方法， 其特征在于， 所述对训练后的所述深度 卷积神经网络进行模型转换与量 化处理的步骤 包括： 将训练好的YOLO  V3神经网络模型利用dark net2caffe工具， 转换为caf femodel； 利用RuyiStudio工具， 对caffemodel进行量化操作， 将所述YOLO  V3神经网络模型量化 为所述车 载端芯片支持的8bit的WK格式文件。 4.如权利要求3所述的车载图像目标检测方法， 其特征在于， 所述对所述多维向量数组 进行NMS处 理， 去除冗余框， 得到最终结果的步骤 包括： 对所述多维向量数组进行后处理， 使用预设的anchor在三种尺度的feature  map上进 行候选框估计与分数计算， 筛选出分数最高的作为选择框， 对选择框进行NMS处理， 过滤掉 多余的框， 得到最终的检测框， 得到最终结果。 5.如权利要求2所述的车载图像目标检测方法， 其特征在于， 所述YOLO  V3神经网络模 型包括YOLOV3 ‑SPP深度网络模 型， 所述YOLOV3 ‑SPP深度网络模型包括多层卷积计算层和设 置在相邻层卷积计算层之间的S PP模块。 6.如权利要求5所述的车载图像目标检测方法， 其特征在于， 所述卷积计算层至少包括 第五层卷积计算层和第六层卷积计算层， 所述SPP模块设置在所述第五层卷积计算层和所 述第六层卷积计算层之间。 7.如权利要求5所述的车载图像目标检测方法， 其特征在于， 所述SPP模块包括四个并 行的分支模块， 所述四个并行的分支模块分别为一个跳跃连接模块和三个最大池化层模 块， 三个所述 最大池化层模块的池化核大小分别为3 ×3、 9×9、 13×13。 8.一种车 载图像目标检测系统， 其特 征在于， 包括： 训练模块， 用于根据设定检测的目标类别数， 并使用测试场景相同的数据作为训练集， 对预设的深度卷积神经网络进行训练； 转化与量化模块， 用于对训练后的所述深度卷积神经网络进行模型转换与量化处理， 生成车载端芯片支持的WK格式文件； 车载端芯片， 用于读取、 加载 所述WK格式文件， 还用于读取待检测的目标图像； NNIE对象， 用于对所述目标图像进行转化并将数据转移到所述车载端芯片中进行推 理， 获得推理的多维向量数组； 处理模块， 用于对所述多维向量数组进行NMS处 理， 去除冗余框， 得到最终结果。权　利　要　求　书 1/2 页 2 CN 114663831 A 29.如权利要求8所述的车载图像目标检测系统， 其特征在于， 所述深度 卷积神经网络包 括基于dark net53的YOLO V3神经网络模型。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 计算机程序被处理器执行时实现如权利要求1至7中任一项 所述车载图像目标检测方 法的所有方法步骤。权　利　要　求　书 2/2 页 3 CN 114663831 A 3