(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210701583.5 (22)申请日 2022.06.21 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 张祥金　赵丽娜　沈娜　华抟　 郭竞杰　查继鹏　龚绍欢　杜廷蔚　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 汪清 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进YOLOv4的无人机航拍小目标 检测方法 (57)摘要 本发明公开一种基于改进YOLOv4的无人机 航拍图像小目标检测方法， 针对VisDrone数据 集， 首先对数据集进行统计及分析， 然后建立改 进的YOLOv4模型 ， 骨干特征提取网络在 CSPDarknet53的基础上构建MobileCSPDarknet ‑ tiny， 加强特征提取网络在SPP与 PANet的基础上 构建ASPP与Bi ‑PANet， 最后训练模型并通过mAP 及Totalparams评价目标检测性能。 该方法在 VisDrone数据集上的表现与原始的YOLOv 4相比， mAP提高7.36％， 参数量仅为原模型的24.49％， 具有虚警率低、 小目标识别率高的特点， 适合于 无人机图像的目标检测任务。 权利要求书2页 说明书6页 附图6页 CN 115063701 A 2022.09.16 CN 115063701 A 1.一种基于改进YOLOv4的无 人机航拍小目标检测方法， 其特 征在于， 包括如下步骤： 建立主干特 征提取网络 MobileCSPDarknet‑tiny： 所述主干特征提取网络MobileCSPDarknet ‑tiny以CSPDarknet53为基础， 去除第5个 Resblock_body， 并将剩余4个Resblock_body中的Resblock部分换做深度可分离模块， 构造 Mob_Resblock_body， 以第2、 3、 4个Mob_Resblock_body的最后一层输出作为主干特征提取 网络的输出， 依次命名为 out1， out 2， out3； 建立加强特 征提取网络AS PP+Bi‑PANet： 所述加强特征提取网络ASPP+Bi ‑PANet首先分别为主干特征提取网络 MobileCSPDarknet ‑tiny的三个输 出out1， out2， out 3各自添加了ASPP， 其中然后在PANet的 基础上， 融合BiFPN思想， 将上采样之后的通道堆叠和下采样之后的通道 堆叠分别换成权重 相加； 建立改进的YOLOv4模型： 改进的YOLOv4模型主要包括输入端、 主干特征提取网络MobileCSPDarknet ‑tiny、 加强 特征提取网络AS PP+Bi‑PANet以及分类回归层YOLO  Head； 使用划分好的VisDro ne数据集训练该模型。 2.根据权利 要求1所述的基于改进YOLOv4的无人机航拍小目标检测方法， 其特征在于， 当输入通道数等于输出通道数时， 所述深度可分离模块依次序贯卷积核大小为3*3的深度 卷积、 BN层、 第一激活函数、 SELayer、 卷积核大小为1*1 的普通二维卷积、 BN层、 第二激活函 数； 所述第一激活函数为h ‑swish＝x*ReLU6(x+3)/6， ReLU6＝min(max(x,0),6)； 所述 SELayer依次序贯平均池化、 全连接层、 ReLU激活函数、 全连接层、 第三激活函数； 所述第三 激活函数为h ‑sigmoid＝ReLU6(x+3)/6， ReLU6＝min(max(x,0),6)； 所述第二激活函数为 Mish＝x*tanh(l n(1+ex))， 其中x为激活函数的输入。 3.根据权利 要求1所述的基于改进YOLOv4的无人机航拍小目标检测方法， 其特征在于， 当输入通道数不等于输出通道数时， 所述深度可分离模块依次序贯卷积核大小为1*1的普 通二维卷积、 BN层、 第一激活函数、 卷积核大小为3*3的深度卷积、 BN层、 SELayer、 第一激活 函数、 卷积核大小为1*1的普通 二维卷积、 BN层、 第二激活函数； 所述第一激活函数为h ‑swish＝x*ReLU6(x+3)/6， ReLU6＝min(max(x,0),6)； 所述 SELayer依次序贯平均池化、 全连接层、 ReLU激活函数、 全连接层、 第三激活函数； 所述第三 激活函数为h ‑sigmoid＝ReLU6(x+3)/6， ReLU6＝min(max(x,0),6)； 所述第二激活函数为 Mish＝x*tanh(l n(1+ex))， 其中x为激活函数的输入。 4.根据权利 要求1所述的基于改进YOLOv4的无人机航拍小目标检测方法， 其特征在于， 所述4个Mob_Resbl ock_body中的Mob_Resbl ock部分数量分别为2， 8， 8， 4； 5.根据权利 要求1所述的基于改进YOLOv4的无人机航拍小目标检测方法， 其特征在于， 为主干特征提取网络MobileCSPDarknet ‑tiny的三个输出out1， out2， out3各自添加ASPP， 具体过程 为： 所述ASPP将SPP中池化核大小为5、 9、 13的最大池化分别换成空洞率为2、 4、 6的空洞卷 积； out1依次经过卷积核大小为1*1的普通二维卷积、 ASPP、 卷积核大小为1*1的普通二维权　利　要　求　书 1/2 页 2 CN 115063701 A 2卷积， 输出命名为out1_1； out2依次经过卷积核大小为1*1的普通二维卷积、 ASPP、 卷积核大 小为1*1的普通二维卷积， 输出命名为out2_1； out3依次经过三次卷积、 ASPP、 三次卷积、 卷 积核大小为1*1的普通 二维卷积， 输出命名为 out3_1； 所述三次卷积依次序贯卷积核大小为1*1的普通二维卷积、 卷积核大小为3*3的普通二 维卷积、 卷积核大小为1*1的普通 二维卷积。 6.根据权利 要求1所述的基于改进YOLOv4的无人机航拍小目标检测方法， 其特征在于， 将上采样之后的通道堆叠和下采样之后的通道堆叠分别换成权 重相加， 具体过程 为： out3_1经过卷积核大小为1*1的普通卷积和算法为nearest的上采样， 输出ou3_2， 将此 过程定义为第一次上采样， 第一次上采样之后的权重包括3部分， 分别为w0*out2_1、 w1* out3_2、 w2*out2， 三部分相加之后经 过五次卷积， 输出out 2_3； out2_3经过卷积核大小为1*1的普通卷积和算法为nearest的上采样， 输出ou2_2， 将此 过程定义为第二次上采样， 第二次上采样之后的权重包括3部分， 分别为w0*out1_1、 w1* out2_2、 w2*out1， 三部分相加之后经 过五次卷积， 输出out1_2； out1_2经过卷积核大小为3*3， 步长为2的下采样， 输出out1_3， 将此过程定义为第一次 下采样， 第一次下采样之后的权重包括3部分， 分别为w0*out1_3、 w1*out2_3、 w2*out2， 三部 分相加之后经 过五次卷积， 输出out 2_5； out2_5经过卷积核大小为3*3， 步长为2的下采样， 输出out2_4， 将此过程定义为第二次 下采样， 第二次下采样之后的权重包括3部分， 分别为w0*out2_4、 w1*out3_1、 w2*out3， 三部 分相加之后经 过五次卷积， 输出out3_3； 其中w0、 w1、 w2为权重矩阵； 所述五次卷积依次序贯卷积核大小为1*1的普通二维卷积、 卷积核大小为3*3的普通二维卷积、 卷积核 大小为1*1的普通二维卷积、 卷积核 大小为3*3的 普通二维卷积、 卷积核大小为1*1的普通 二维卷积； 7.根据权利 要求5所述的基于改进YOLOv4的无人机航拍小目标检测方法， 其特征在于， 建立改进的YOLOv4模型， 具体过程 为： 建立改进的YOLOv4模型： 将得到的out1_2经过YOLO  HEAD1； out2_5经过YOLO  HEAD2； out3_3经 过YOLO HEAD3； 使用数据集训练改进的YOLOv4模型， 以mAP和Total  params作为模型评价指标进行评 价； Recall＝TP/TP+FN Precision＝TP/TP+FP 其中TP表示正确识别出的正样本数量， FN表示分类错误或没有识别出的正样本数量， FP表示误识别为目标的负样本数量， 每个类别根据Recall和Precision可绘制一条曲线， 该 曲线与坐标轴的面积为AP值， mAP是 所有类AP的平均值； Total  params为模型总参数量。 8.根据权利 要求6所述的基于改进YOLOv4的无人机航拍小目标检测方法， 其特征在于， 所述YOLO  HEAD1依次序贯卷积核大小为3*3的普通二维卷积、 BN层、 LeakyReLU激活函数、 卷 积核大小为1*1的普通二维卷积； 所述YOLO  HEAD2依次序贯卷积核大小为3*3的普通