(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210006574.4 (22)申请日 2022.01.05 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 申请人 陕西理工大 学 (72)发明人 王兰美　王翔宇　王桂宝　廖桂生　 王新宽　孙长征　 (51)Int.Cl. G06V 20/54(2022.01) G06V 20/56(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种跨层融合改进的YOLOv4道路目标识别 算法 (57)摘要 本发明提出了一种跨层融合改进的YOLOv4 道路目标识别算法， 所用数据集是KITTI道路目 标数据集， 为了使模型能够更加轻量化的同时还 能保持检测精度， 本发明方法以YOL Ov4为基础网 络， 借鉴Den seNet的思想， 设计了Dense ‑SPP跨层 空间池化模块和Dense‑特征融合模块， 并且对原 始模型进行参数剪枝以及削减， 设计了轻量化的 Dense‑YOLOv4‑Small网络模型， 将骨架网络 CSPDarknet ‑53中CSP模块进行削减， 将原本CSP 模块中ResU nit的数量统一 设置为1个， 对网络进 行剪枝消除网络的冗余计算， 将KITTI道路目标 数据集中的 “Misc”和“Dontcare ”剔除得到 KITTI‑7classes道路目标数据集， 在该数据集上 对YOLOv4、 Dense ‑YOLOv4、 Dense ‑YOLOv4‑Small 三个模型进行训练， 并对比三种模 型的检测速度 和检测性能； 检测结果表明Den se‑YOLOv4‑Small 的检测速度大幅度提升， 检测精度几乎不变 。 权利要求书3页 说明书9页 附图6页 CN 114565896 A 2022.05.31 CN 114565896 A 1.一种跨层融合改进的YOLOv4道路目标识别算法， 基于KITTI通用数据集的道路目标 识别， 其特 征在于： 步骤一、 下载当前目标检测领域通用数据集tt100k数据集与LISA数据集， 使用这两个 数； 步骤一、 下载当前目标检测领域通用数据集KITTI道路目标数据集， 剔除原始KITTI数 据集中的“Misc”和“Dontcare”两类数据， 创建KITTI ‑7Classes道路目标数据集， 使用该数 据集可保证算法检测效果与该领域公开的通用数据集保持一致， 构建了本发明使用的道路 目标数据集； 将测试集、 验证集与训练集按照6:2:2的比例划分； KITTI数据集是目前最大的自动驾驶场景下数据 集； KITTI包含各种 道路场景采集的真 实图像数据； KITTI数据集共包含九类， 分别为Car， Van， Truck， Pedestrian， Person (sitting)， Cyclist， Tram， Misc和Dontcare； 由于KITTI 中有两类为 “Misc”和“Dontcare ”， 分别为“杂乱无章 ”类和“不关心的 ”类， 这两种类别是无意义的， 并且由于这两类没有特定 的目标特征， 在不同的图片中其 “Misc”类可能包含的物体是不同的， 本发 明对原始KITTI数 据集中的 “Misc”和“Dontcare ”剔除， 形成KITTI ‑7Classes数据集， 本发明将在KITTI ‑ 7Classes上进行训练和 测试； 步骤二、 使用标准YOLOv4网络训练并识别和定位道路目标； 使用标准YOLOv4网络对基 于步骤一道路目标数据集进行训练， 下载标准YOLOv4网络并进行编译， 标准YOLOv4网络的 下载地址： https://git hub.com/AlexeyAB/darknet； 为道路目标数据kitti ‑7classes更改 cfg文件夹中kitti7.data文件中的训练集、 验证集、 测试集目录为下载数据集的地址， 指定 类别数量与类别名称， 并将kitti7.name中的 “Misc”和“Dontcare ”条目删除； 在训练执行的 命令中根据精度要求设定迭代次数(epoch)为100， 根据本次实验数据集加载kitti7.data， 同时加载yolov4.cfg， 程序即可开始训练； 保存训练过程中各层的权重文件Q1， 作为训练结 束后检测的权值输入文件； 利用权重文件Q1进行测试， 得到均值平均精度(Mean  Average  Precision,mAP)、 召回率(Recall)与检测时的帧率(Frame  Per Second， FPS)； 当目标占据 整张图片一半以上 大小时， 由于实际有效感受野的限制， 网络的检测效果并不佳； 训练过程具体如下： 1)构建YOLOv4 网络模型， 使用Initialization函数进行神经网络各层权值参数的初始 化； YOLOv4由四个部分组成， 分别是： (1)Input输入端： 指输入网络原始样本数据； (2) BackBone网络： 指进行特征提取操作的卷积神经网络结构； (3)Neck颈部： 对主干网络提取 的图像特征进行融合， 并将融合后的特征传递到预测层； (4)Head头部： 对图像中的感兴趣 目标物体进行 预测， 并生成可视化的预测框与目标类别； 下载标准YOLOv4网络后， 对YOLOv4网络使用make命令进行编译， 形成可执行文件 darknet； 为道路目标数据集KITT I‑7classes编辑cfg文件夹中kitti7.data文件， 将class、 train、 valid、 names字符串改为对应数据集的目录与参数， 这样就编辑好了标准YOLOv4网 络Input部分需要的参数， 在训练执行的命令行中设定epoch后， 根据本次实验数据集加载 kitti7 .data， 同时加载yolov4 .cfg， 程序即可开始训练； 程序在运行时会使用 Initialization函数进行神经网络各层权值 参数的初始化； 2)从Input部分输入图片数据， 经过Backbone部分， 最终输出两个尺度的特征图， 并使权　利　要　求　书 1/3 页 2 CN 114565896 A 2用分类器输出预测框Pb1与分类概 率CPx； 从Input部分输入图片数据， 经过Backbone部分， 最终输出两个尺度的特征图， 将两种 不同尺度的特征 图送入特征金字塔网络(Featuer  Pyramid Network,FPN)组成的Neck部 分， 并将融合后的特征传递到预测层中， 与此同时Head部分完成目标的分类并输出预测框 Pb1与分类概 率CPx， 其中x为每 个分类的索引； 3)对这些数据进行IoU与NMS后处理， 将预测框Pb2与真实框Gtb对比， 并使用Adam算 法进 行神经网络各层权值更新； 经过Backbone网络生成的预测框Pb1数量太大， 对图片中同一物体有大量检测框存在， 造成检测结果冗余； YOLOv4的Head部分会同时完成预测框与其对应的分类概率； 对这些数 据进行IoU与NMS后处理， 得到处理好的数据； 这里使用的IoU与NMS为标准YOLOv4的CIoU_ loss与NMS； 经过这些后处理后就可以得到感兴趣目标的预测框Pb2与其对应的分类概率 CPx； 同时， 使用Adam算法使用后处 理过程中得到的l oss进行神经网络各层权值更新； 4)循环执行步骤2)和3)继续迭代至命令中设定的epoch值， 停止训练， 输出记录每一层 权重与偏 移的文件Q1； 利用Q1得到的权重与偏移对测试集进行检测， 计 算得到mAP、 Recall与 检测时的帧率FP S； 本发明按照精度要求设置迭代阈值epoch＝100， 迭代次数小于阈值时， 使用Adam算法 进行网络各层权值更新， 直到阈值epoch＝100停止训练， 计算mAP与Recall， 输出记录每一 层权重与偏移的文件Q1； 步骤三、 设计Dense ‑YOLOv4网络模型； 在该模型中设计两种跨层融合模块， 分别为 Dense‑SPP模块和Dense ‑特征融合模块； 以YOLOv4为基础网络， 将上述两个模块引入到 YOLOv4模型中； 在骨架网络上采用CSPDarknet ‑53为特征提取网络， 在特征融合网络上， 将原始SPP模 块换为Dense ‑SPP模块； 同时将路径聚合网络(Path  Aggregation  Network,PAN)结构上的 与上一尺度的输出特征图进行融合的单路五层卷积模块换为本发明设计的Dense ‑特征融 合模块； 网络的检测器方面， 采用原始设计的三尺度检测， 网络的输入尺 寸为640×640×3， 最终检测层特 征图大小分别为20 ×20、 40×40和80×80， 分别检测大中小目标； (1)设计一种Dense ‑SPP模块， 在原始SPP模块的基础 上引入跨层 连接模块， 这样特征图 分为两个分支， 其中一个特征图进 行原始SPP模块卷积、 池化等操作， 另一个特征图进 行1× 1×512单次卷积， 然后两个分支的输出特征图进行Concat拼接操作； Dense ‑SPP模块的卷积 核的数量为11264