(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210740512.6 (22)申请日 2022.06.27 (71)申请人 江苏中科梦兰电子科技有限公司 地址 215500 江苏省苏州市 常熟市琴川街 道梦兰村 申请人 南京航空航天大 学 (72)发明人 刘宁钟　周王成　吴磊　王淑君　 (74)专利代理 机构 南京锐恒专利代理事务所 (普通合伙) 32506 专利代理师 陈思 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于语义信息和注意力机制的无锚航 拍图像检测方法 (57)摘要 本发明公开了一种基于语义信息和注意力 机制的无锚航拍图像车辆检测方法， 该方法包 括： 首先采集车辆的航拍图像， 并对其中的车辆 进行标注； 之后 在FCOS网络的基础上加上语义信 息融合以及 注意力机制和动态激活函数， 构造新 的网络结构； 将航拍图像数据集送入到神经网络 进行训练， 直至网络收敛； 然后利用训练好的神 经网络和权重文件来检测测试图像中的车辆， 并 输出检测结果。 本发明解决了目前航拍图像下车 辆识别准确度低的问题， 在通用数据集DLR ‑3K上 的检测精度达到了89.6。 本发明提高了航拍图像 下车辆检测的准确率。 权利要求书2页 说明书4页 附图5页 CN 115131687 A 2022.09.30 CN 115131687 A 1.一种基于语义信息和注意力机制的无锚航拍图像车辆检测方法， 其特征在于， 所述 方法包括以下步骤： 步骤1： 数据集获取 过程； 采集针对车辆的航拍图像， 并对其中的车辆进行标注， 标注出图像中车辆的种类和位 置； 步骤2： 构建神经网络过程； 使用ResNet50作为基准网络， 将深层的语义信息融合到浅层， 同时对每层的特征使用 注意力机制， 并且将激活函数 换成动态激活函数； 步骤3： 神经网络训练过程； 将标注后的航拍车辆图像数据集或者通用的航拍车辆数据集送入上述步骤2构建的神 经网络进行训练， 直至网络收敛； 步骤4： 测试图像 检测过程； 采用训练好的神经网络和权 重文件来检测 测试图像中的车辆目标。 2.根据权利要求1所述的一种基于语义信 息和和注意力 机制的无锚航拍图像车辆检测 方法， 其特 征在于， 所述 步骤1包括以下步骤： 步骤1‑1： 使用的数据集是DLR ‑3K数据集， 该数据 集是使用DLR ‑3K相机在德国慕尼黑一 千米的高空拍摄的， 该数据集含了20张航拍图像， 每张图片的大小是5616 ×3744， 将每张数 据集平均分成11 ×10张图像来节省计算资源， 每张图像之间带有一定的重叠， 得到了若干 张702×624大小的图像， 并且 对每张图像旋转90、 180、 270度来扩充数据集； 步骤1‑2将得到的数据使用labelImg数据标注工具进行标注， 将图像中的车辆类别标 记为car； 步骤1‑3将数据集按照6:2:2的比例将数据集分为训练集， 验证集和 测试集。 3.根据权利要求1所述的一种基于语义信 息和和注意力 机制的无锚航拍图像车辆检测 方法， 其特 征在于， 步骤2包括以下步骤： 步骤2‑1： 使用ResNet5 0作为主干网络提取 特征， 使用该网络 C3， C4， C5层的输出； 步骤2‑2： 首先先将C5特征图经过动态激活函数和注意力机制后得到P5特征图， 将P5特 征图上采样之后和C4特征图相加得到新的特征图P4； 对P4进 行相同的操作之后与C3特征图 相加之后经过动态激活函数和注 意力机制得到P 3特征图， 深层的C5特征图具有 更大的感受 野和高层语义信息， 而浅层的C 3特征图具有更好 地位置信息； 步骤2‑3： 将P3特征图送入到检测头当中， 检测头有两个分支， 一个分支用来分类， 一个 分支用来回归； 步骤2‑4： 使用Focal  loss损失函数作为分类损失函数， 使用IoUloss作为回归损失， 中 心度损失函数使用二维交叉熵损失函数。 4.根据权利要求1所述的一种基于语义信 息和和注意力 机制的无锚航拍图像车辆检测 方法， 其特 征在于， 所述 步骤3包括以下步骤： 步骤3‑1： 使用ResNet5 0作为主干网络， 使用SGD梯度算法， 训练了 36个epoch； 步骤3‑2： 在神经网络上尝试不同的训练超参数， 进行训练， 得到可用于航拍图像车辆 检测的网络文件和权 重文件。 5.根据权利要求3所述的一种基于语义信 息和和注意力 机制的无锚航拍图像车辆检测权　利　要　求　书 1/2 页 2 CN 115131687 A 2方法， 其特征在于， 所述步骤2 ‑2中使用的动态激活函数， 通过全局 语义信息来计算出四个 参数记为a1， a2， b1， b2， 然后计算 max(a1×X+b1， a2×X+b2)， 其中X是输入的特征图， 和之前 的激活函数相比， 激活函数 可以根据语义信息动态学习， 具有更好的鲁棒 性， 有利于检测。 6.根据权利要求3所述的一种基于语义信 息和和注意力 机制的无锚航拍图像车辆检测 方法， 其特征在于， 所述步骤2 ‑2中使用的注意力机制， 分别使用了通道注意力机制和空间 注意力机制。 7.根据权利要求3所述的一种基于语义信 息和和注意力 机制的无锚航拍图像车辆检测 方法， 其特 征在于， 损失函数 所示如下： FL(pt)＝‑αt(1‑pt)γlog(pt) Liou＝‑ln(iou) 其中FL(pt)损失函数是分类损失， pt是类别的预测概率， αt和γ两个超参数； Liou损失 函数是回归损失， iou是预测框和ground ‑truth的交并比； L是交叉熵损失函数， yi表样本i 的标签， 正类为1， 负类为0， pi表示样本i预测为 正类的概 率。 8.根据权利要求1所述的一种基于语义信 息和和注意力 机制的无锚航拍图像车辆检测 方法， 其特 征在于， 所述 步骤4包括以下步骤： 步骤4‑1： 将测试图像送入anc hor free网络中， 获取网络不同层的特 征图； 步骤4‑2： 对特征图进行 特征增强和融合得到最终的特 征图； 步骤4‑3： 将特征图输入到检测头中， 输出 预测边界值与分类值； 步骤4‑4： 设置阈值， 通过非极大值抑制过 滤出最终的检测结果。权　利　要　求　书 2/2 页 3 CN 115131687 A 3