(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210755488.3 (22)申请日 2022.06.30 (71)申请人 广东工业大 学 地址 510000 广东省广州市东 风东路729号 (72)发明人 鲁仁全　罗茂林　吕伟俊　彭慧　 徐雍　饶红霞　 (74)专利代理 机构 北京高航知识产权代理有限 公司 11530 专利代理师 赵永强 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/32(2022.01) G06V 10/30(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/40(2006.01) (54)发明名称 基于神经网络的小目标检测算法在无人机 航拍中的应用 (57)摘要 本发明涉及无人机航拍算法技术领域， 且公 开了基于神经网络的小目标检测算法在无人机 航拍中的应用， 需准备小目标数据集及高分辨率 图像数据集， 训练及使用时需重塑图片至统一大 小以保证各网络在训练与使用阶段的输入图片 大小一致。 通过参数数量、 计算资源消耗更少且 强化了特征复用的Densenet ‑121特征提取网络 并加以修改以满足检测效率与准确性并重的要 求， 同时对原始数据集通过超分辨率生成网络进 行超分辨率图的生成以提高图片的分辨率， 并且 通过带上下文信息的目标复制以丰富小目标出 现的多样性并增加小目标样本数量， 最后进行图 像分块检测以减小网络输入数据大小、 增加图片 样本数量 以及增加小目标信息占比从而提高训 练及检测效果。 权利要求书2页 说明书5页 附图5页 CN 115376022 A 2022.11.22 CN 115376022 A 1.基于神经网络的小目标检测算法在无人机航拍中的应用， 其特征在于， 包括以下步 骤： S1、 数据准备 需准备小目标数据集及高分辨率图像数据集， 训练及使用时需重塑图片至统一大小以 保证各网络在训练与使用阶段的输入图片大小一 致； S2、 高斯滤波 对小目标 数据集所有原图像的三个通道进行高斯滤波处 理以去除图像中的部分噪声； S3、 生成超分辨 率图像 对高斯滤波处理后的小目标数据集使用引入深度可分离卷积的SRGAN神经网络生成超 分辨率的新图像； S4、 图像目标复制 对小目标检测数据集中的每个图像进行目标复制处理,目标复制需要在目标及其上下 文信息提取出来后将其复制在图内可能出现的其他地方,复制 完成后需重新设计标签， 标 签要包含目标类别、 目标框的中心 坐标、 目标框长宽、 目标框左上角坐标与 右下角坐标以及 原小目标 数据集标签包 含的各类信息以便后续使用； S5、 图像分块检测与复原 图像分块检测： 对处理好的图像数据集中的每个图像三通道同时进行叠式分块操作， 目标块大小需根据实际目标大小决定并且图像块的重叠区域需大于最大尺度目标； 分块复 原： 检测完成得到 分块图片的目标框信息后需按照分块标记信息将目标框及其分类信息的 复原至未分块图片内以在未分块图片内生成对应的目标框及其分类信息； S6、 检测网络 使用分块后的小 目标数据集进行检测网络 的训练。 检测网络以Faster  R‑CNN 网络为 基础， 使用修改过的Densenet ‑121卷积部分为检测网络中的公共卷积网络部分， Densenet 中的Dense块由于其结构与连接特性存在着特 征复用且参数较少的特点。 2.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用， 其 特征在于， 所述步骤S 3中,生成网络中引入了深度可分离卷积替代部 分常规卷积。 深度可分 离卷积分为逐通道卷积和逐点卷积两个部分。 若原一层常规卷积层包含Modp个Nodp×Nodp× ddp卷积核且步长为Sodp， 则可使用两层卷积层进行替代。 第一层卷积层包含ddp个Nodp×Nodp ×1卷积核， 而后使每个卷积核与每个通道的输入 数据进行独立的卷积运算， 每个通道输入 数据只与一个卷积核进行运算。 第二层卷积层包含 Modp个1×1×ddp卷积核进行卷积运算。 经 深度可分离卷积替代常规卷积后卷积核参数数量减少为原来的 从而提升运 算效率。 3.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用， 其 特征在于， 所述步骤S3中,训练完成后即得到初步SRGAN网络模型， 而后需要对其中的生成 网络进行卷积核通道剪枝， 被剪枝的卷积核通道将不参与运算。 该阶段需额外设定训练次 数并使用修改后的生成网络损失计算方式进行训练以实现卷积核通道的剪枝。 4.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用， 其 特征在于， 所述步骤S5中,在原图像大小为mpt×npt的情况下， 设分块大小为mpt×npt， 横向重权　利　要　求　书 1/2 页 2 CN 115376022 A 2叠区域长度为xpt， 纵向重叠区域宽度为ypt， 则分块数量Opt为： 分块后生成每个分块的标记， 标记需包含该分块图片的原图片、 该分块图片在原图片 的位置信息与重 叠块信息以方便后期复原。 使用分块后的图片数据集进行训练以及使用。 5.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用， 其 特征在于， 所述步骤S5中,复原后同一未分块图片内同一类目标的目标框及其对应的分类 信息需根据目标框的IOU(交并比)信息及需根据实际情况人工 设定的重叠阈值分为两种情 况进行处理： 目标框与图内其他目标框IOU均为0则无需处理； 若复原后未分块图片内存在 特定类型的目标框组， 该类目标框组内任意两个目标框IOU都大于 设定重叠阈值， 则使用最 小外接矩形法生成目标框组的最小外接矩形以替代原目标框组， 该外接矩形显示的分类概 率取自原目标框组中最大概 率目标框的概 率并注明其 来源。 6.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用， 其 特征在于， 所述步骤S 6中,在训练前需要重新设计候选网络中的预设锚框大小， 锚框重新设 计过程基于改进 K‑means聚类法进行。 根据训练数据集的目标框宽高信息重新设计9个不同 长宽的锚框以匹配小目标。 7.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用， 其 特征在于， 所述步骤S 6中,得到检测网络初步模 型后需对模 型进行卷积核通道剪枝， 训练至 设定次数后需额外设定训练次数并使用修改后的损失计算方式进行训练以实现卷积核剪 枝。 8.根据权利要求1所述的基于神经网络的小目标检测算法在无人机航拍中的应用， 其 特征在于， 所述步骤S 6中,卷积核通道剪枝阶段训练 时， 候选区域网络与主体网络的损失均 需更改为： 为该训练批次内各数据输入与对应的网络输 出， Lope为原损失函数。权　利　要　求　书 2/2 页 3 CN 115376022 A 3