(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210006548.1 (22)申请日 2022.01.05 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 申请人 陕西理工大 学 (72)发明人 王兰美　王立哲　王桂宝　廖桂生　 王文洋　孙长征　 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种大尺度特征的YOL Ov4-tiny目标检测算 法 (57)摘要 本发明提出了一种大尺度特征的YOLOv4 ‑ tiny目标检测算法， 解决原YOLOv4 ‑tiny在小目 标检测上精度不高及重叠情况下漏检的问题； 首 先下载当前目标检测领域通用数据集tt100k数 据集与LISA数据集， 并进行数据增强； 其次使用 标准YOLOv4‑tiny网络对两个数据增强后的通用 数据集进行训练， 检测其性能； 然后针对原始 YOLOv4‑tiny模型对小目标进行检测时精度不高 且易漏检的问题， 提出一种大尺度特征的 YOLOv4‑tiny目标检测算法， 并对改进算法模型 进行训练； 最后对比标准YOL Ov4‑tiny模型， 分析 测试结果； 本发明在不改变YOLOv4 ‑tiny模型输 出特征图数量、 保持模型实时性的情况下， 通过 改变输出特征图大小， 增加了模型感受野改， 对 小目标检测与重叠情况下目标的检测精度均有 提高， 且本发明鲁棒性较好， 可用于多个数据集 的性能提升 。 权利要求书4页 说明书10页 附图7页 CN 114419583 A 2022.04.29 CN 114419583 A 1.一种大尺度特 征的YOLOv4 ‑tiny目标检测算法， 其特 征在于： 步骤一、 下载当前目标检测领域通用数据集tt100k数据集与LISA数据集， 使用这两个 数据集可保证算法检测效果与该领域公开的通用数据集保持一致， 验证算法实际效果； 对 下载的数据进 行增强， 包括翻转、 裁剪、 加噪、 旋转操作； 增强后生成的数据不仅可以增加数 据集包含的图片数量， 且因为增强后的图像与数据集中的原始图像相比更复杂， 在保留原 始图像特征点的情况下对图片风格、 大小进 行了改变， 图像的模糊程度增加， 使增强后的图 像更具多样性， 与实际情况更接近， 可以提升训练后网络的鲁棒性； tt100k数据集的下载地 址是： http://cg.cs.tsinghua.edu.cn/traffic ‑sign/； LISA数据集的下载地址是： http://cvrr.ucsd.edu/L ISA/lisa‑traffic‑sign‑dataset.html； 步骤二、 使用标准YOLOv4 ‑tiny网络训练与检测交通标志； 使用标准YOLOv4 ‑tiny网络 对基于步骤一的两个交通标志数据集分别进行训练， 下载标准YOLOv4 ‑tiny网络并进行编 译， 标准YOL Ov4‑tiny网络下载地址： https://git hub.com/AlexeyAB/darknet， 为两个交通 标志数据集tt100k与LISA分别更改cfg文件夹中tt100k.data与LISA.data文件中的训练 集、 验证集、 测试集 目录为下载数据集的地址， 并指定类别数量与类别名称； 根据精度要求 设定迭代次数(epoch)为20000， 根据本次实验数据集加载tt100k.data或LISA.data， 同时 加载yolov4 ‑tiny.cfg， 程序即可开始训练； 保存训练过程中各层的权重文件Q1， 作为训练 结束后检测的权值输入文件； 利用权重文件Q1进行测试， 得到平均精度(mAP)、 召回率 (Recall)与检测时的帧率(FPS)； 虽然yolov4 ‑tiny网络的检测速度优于yolov4， 但检测精 度即mAP与Recall都有比较明显的下降， 且yolov4 ‑tiny两个特征图输出的感受野较小， 对 小目标的检测精度下降较为明显； 步骤三、 本发明针对需要检测较小目标 时原始YOLOv4 ‑tiny精确度 不理想的问题， 为了 提高小尺度目标的检测精度， 本发明方法提出了基于大尺度优化特征图的YOLOv4 ‑tiny目 标检测算法， 通过改变YOLOv4 ‑tiny网络结构， 替换使用大尺度优化特征图策略， 旨在解决 原YOLOv4 ‑tiny在小目标检测上精度不高及漏检的问题； 将增加第三尺度特征图输出的三 尺度YOLOv4 ‑tiny网络使用步骤一中的两个数据集进行训练， 得到权重文件Q2； 利用权重文 件Q2进行测试， 得到mAP、 Recal l与检测时的帧率FP S； 步骤四、 将步骤二与步骤三模型性能的检测结果进行对比， 包括模型检测精度、 模型检 测速度、 模型检测召回率、 模型权重文件大小， 并查看步骤二与步骤三 实际检测的数据集中 的图像， 分析检测结果。 2.根据权利要求书1所述的一种大尺度特征的YOLOv4 ‑tiny目标检测算法， 步骤一、 下 载当前目标检测领域通用数据集tt100k数据集与LISA数据集， 使用这两个数据集可保证算 法检测效果与该领域公开的通用数据集保持一致， 验证算法实际效果； 对下载的数据进行 增强， 包括翻转、 裁剪、 加噪、 旋转操作； 增强后生 成的数据不仅可以增加数据集包含的图片 数量， 且因为增强后的图像与数据集中的原始图像相比更复杂， 在保留原始图像特征点的 情况下对图片风格、 大小进行了改变， 图像的模糊程度增加， 使增强后的图像更具多样性， 与实际情况更接近， 可以提升训练后网络的鲁棒性； tt100k数据集的下载地址是： http:// cg.cs.tsinghua.edu.cn/traffic ‑sign/； LISA数据集的下载地址是： http:// cvrr.ucsd.edu/L ISA/lisa‑traffic‑sign‑dataset.html； tt100k的全称是Tsinghua ‑Tencent 100K， 是清华 ‑腾讯互联网创新技术联合实验室提权　利　要　求　书 1/4 页 2 CN 114419583 A 2供的一个可用来识别的道路交通标志通用数据集； TT100K数据集中图像的分辨率为2048 × 2048， 共有221种标志类别， 大体分为三类： 警告标志、 禁令标志和指示标志； 该数据集覆盖 了不同天气条件和不同光照下的交通标志图像， 其中训练集包含6105张图像， 测试集包含 3071张图像； 由于原始图像分辨率较大， 因此在本发 明实验中对原图像进 行了裁剪处理， 裁 剪后的图像尺度为608 ×608； 由于数据集中各个类别之间的数据量存在严重不平衡的问 题， 因此本发明实验只选择了标注数据量较多的45类交通标志进 行识别， 并将测试集、 验证 集与训练集按照6:2:2的比例划分， 对每张图像进行翻转、 裁 剪、 加噪、 旋转操作； LISA的全称是Laboratory  for Intelligent&Safe  Automobiles， 是由美国LISA实验 室提供的一个可用来识别的道路交通标志通用数据集； 通过驾驶车辆拍摄视频， 从视频中 提取带有交通标志的某一片段， 再依据此片段最多提取30帧， 对每一帧的视频图片进行标 注； 每一个交通标志的标注包含类型标签(Tag)、 位置(Position)、 是否被遮挡(Occluded)、 是否在侧路上(On  side road)四部分信息； 采集图片的过程是在视频中提取的， 车辆行驶 过程有一定速度而非静止， 因此出现模糊， 也使得基于该数据集的交通标志识别算法对真 实场景的适用性更强； 美国LISA数据集中包含了47个类别， 但各类别之间标注数量严重失 衡， 因此为保证数据可用性， 本发明实验将选取其中四类标注数量较多的类别进行训练测 试； 将测试集、 验证集与训练集按照6:2:2的比例划分， 并对每张图像进 行翻转、 裁剪、 加噪、 旋转操作。 3.根据权利要求书1所述的一种基于大尺度特征图的改进的YOLOv4 ‑tiny算法， 步骤 二、 使用标准YOLOv4 ‑tiny网络训练与检测交通标志； 使用标准YOLOv4 ‑tiny网络对基于步 骤一的两个交通标志数据集分别进行训练， 下载标准YOLOv4 ‑tiny网络并进行编译， ， 标准 YOLOv4‑tiny网络下载地址： https://github.com/AlexeyAB/darknet， 为两个交通标志数 据集tt100k与LISA分别更改cfg文件夹中tt100k.data与LISA.data文件中的训练集、 验证 集、 测试集目录为下载数据集的地址， 并指 定类别数量与类别名称； 根据 精度要求设定迭代 次数(epoch)为20000， 根据本次实验数据集加载tt100k.data或LISA.data， 同时加载 yolov4‑tiny.cfg， 程序即可开始训练； 保存训练过程中各层的权重文件Q1， 作为训练结束 后检测的权值输入文件； 利用权重文件Q1进行测试， 得到平均精度(m