(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210773776.1 (22)申请日 2022.07.01 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 夏喆　袁欣如　邹承明　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于卷积神经网络的机场跑道异物检测方 法、 系统及设备 (57)摘要 本发明公开了一种基于卷积神经网络的机 场跑道异物检测方法、 系统及设备， 首先获取机 场跑道图像数据； 然后将机场跑道图像数据输入 卷积神经网络中， 输出检测结果， 检测结果包含 跑道异物目标所属类别及其在图像上的位置； 本 发明在YOLOv5卷积神经网络的基础上对其进行 改进， 在保证检测速度的同时， 提升了对于机场 跑道异物小目标的检测精度， 能够满足机场跑道 异物实时检测的要求， 为机场跑道异物 检测提供 高效的检测方法， 减少人工成本的消耗。 权利要求书3页 说明书6页 附图3页 CN 115330676 A 2022.11.11 CN 115330676 A 1.一种基于卷积神经网络的机场跑道 异物检测方法， 其特 征在于， 包括以下步骤： 步骤1： 获取机场跑道图像数据； 步骤2： 将机场跑道图像数据输入卷积神经网络中， 输出检测结果， 检测结果包含跑道 异物目标所属类别及其在图像上的位置； 所述卷积神经网络， 包括骨干网络， Neck端和预测端； 所述骨干网络采用CSPDarknet53结构， 由顺序设置的聚焦层Focus、 第一CSP层、 第二 CSP层、 第三CSP层、 标准卷积层CBL、 空间金字塔池化操作层SPP和坐标注意力模块CA构成； 所述聚焦层Focus， 用于对输入图像进行隔行采样与拼接， 将图像平 面的信息转换到通道维 度上； 所述CSP层由连续的标准卷积层CBL与CSP1_X构成； 所述空间金字塔池化操作层SPP采 用提取与融合 不同尺度的特 征图的方法， 增强模型的检测精度； 所述Neck端， 包括第一CSP模块、 第二CSP模块、 第三CSP模块、 融合层Concat、 第一CSP子 模块、 第二CSP子模块、 第三CSP子模块和CSP2_1； 所述CSP模块均由CSP2_1、 标准卷积层CBL 和和层上采样组成； 所述CSP子模块均有顺序连接的CSP2_1和标准卷积层CBL组成； 所述坐 标注意力模块CA输出经所述第一CSP模块后， 与第三CSP层输出经融合层Concat后输入第二 CSP模块； 所述第二CSP模块输出与所述第二CSP层输出经融合层Concat后输入第三CSP模 块； 所述第三CSP模块输出与所述第一CSP层输出经融合层Concat后输入所述第一CSP子模 块； 所述第一CSP子模块输出与所述第三CSP模块的标准卷积层CBL输出经融合层Concat后 输入所述第二CSP 子模块， 所述第二CSP 子模块输出与所述第二CSP模块的标准卷积层CBL输 出经融合层Concat后输入所述第三CSP子模块， 所述第三CSP子模块输出与所述第一CSP模 块的标准卷积层CBL输出 经融合层Co ncat后输入CS P2_1； 所述预测端， 接收Neck端的四个CSP2_1输出， 分别经过卷积操作层Conv后得到不 同尺 寸特征图， 输入Detect模块进行后续目标检测操作。 2.根据权利要求1所述的基于卷积神经网络的机场跑道异物检测方法， 其特征在于： 步 骤2中所述卷积神经网络中CSP1_X， 将 输入分为两个 分支， 一个 分支经过顺序连接的卷积层 CBL、 X个残差层Resunit、 一次卷积操作层Conv， 另一个 分支直接进行卷积操作层Conv； 对两 个分支结果输入顺序连接的融合层Concat、 正态分布层BN、 激活函数层LeakyReLU、 和卷积 层CBL得到 输出结果； 其中， X 取值根据YOLOv5不同版本的默认配置进行选择。 3.根据权利要求2所述的基于卷积神经网络的机场跑道异物检测方法， 其特征在于： 所 述残差组件Res  unit， 输入经 过两个卷积层CBL的输出， 再与输入进行AD D操作后输出。 4.根据权利要求1所述的基于卷积神经网络的机场跑道异物检测方法， 其特征在于： 步 骤2中所述卷积神经网络中CSP2_X， 将 输入分为两个 分支， 一个 分支经过顺序连接的卷积层 CBL、 2*X个卷积层CBL、 一次卷积操作层Conv， 另一个 分支直接输入卷积操作层Conv； 对两个 分支结果输入顺序连接的融合层Concat、 正态分布层BN、 激活函数层LeakyReLU和卷积层 CBL得到输出结果； 其中， X 取值根据YOLOv5不同版本的默认配置进行选择。 5.根据权利要求1所述的基于卷积神经网络的机场跑道异物检测方法， 其特征在于： 步 骤2中所述卷积神经网络中Focus模块， 包括四个并行设置的切片操作层slice、 其后顺利连 接融合层Concat和卷积层CBL； 对于原始的640*640*3的图像输入， 首先采用切片slice操 作， 变为320*320*12的特征图； 对 得到的特征图拼接Concat后， 再经过一次卷积 CBL操作， 最 终变成320 *320*64的特征图。权　利　要　求　书 1/3 页 2 CN 115330676 A 26.根据权利要求1所述的基于卷积神经网络的机场跑道异物检测方法， 其特征在于： 步 骤2中所述卷积神经网络中空间金字塔池化操作层SPP， 包括顺序连接的卷积层CBL、 四个并 行设置的切片操作层slice、 融合层Concat和卷积层CBL； 分别对1*1分块， 2*2分块和4*4子 图里分别取每一个框内的max值， 进行最大池化操作， 提取出来的特征值一共有1*1+2*2+4* 4＝21个； 再对得到的特 征进行Co ncat操作， 最后经 过一层CBL。 7.根据权利要求2 ‑6任意一项所述的基于卷积神经网络的机场跑道异物检测方法， 其 特征在于： 所述卷积层CBL， 由顺序连接的卷积操作层Conv、 正态分布层BN和激活函数层 Leaky Relu组成。 8.根据权利要求1 ‑6任意一项所述的基于卷积神经网络的机场跑道异物检测方法， 其 特征在于： 步骤2中所述卷积神经网络， 为训练好的卷积神经网络； 具体训练过程包括以下 子步骤： 步骤2.1： 采集机场跑道异物图像数据集， 对图像中的异物目标的类别和位置进行标 注； 并将数据集分为训练集和检测集； 步骤2.2： 将训练集输入所述卷积神经网络中， 对所述卷积神经网络进行训练， 并且每 隔预设条件迭代并保存一次模型， 当训练 次数达到预设值后， 最 终保存最优模型， 获得训练 好的卷积神经网络模型。 9.一种基于卷积神经网络的机场跑道异物检测系统， 其特征在于， 包括以下数据获取 模块和检测模块； 所述数据获取模型， 用于获取机场跑道图像数据； 所述检测模块， 用于将机场跑道图像数据输入卷积神经网络 中， 输出检测结果， 检测结 果包含跑道异物目标所属类别及其在图像上的位置； 所述卷积神经网络， 包括骨干网络， Neck端和预测端； 所述骨干网络采用CSPDarknet53结构， 由顺序设置的聚焦层Focus、 第一CSP层、 第二 CSP层、 第三CSP层、 标准卷积层CBL、 空间金字塔池化操作层SPP和坐标注意力模块CA构成； 所述聚焦层Focus， 用于对输入图像进行隔行采样与拼接， 将图像平 面的信息转换到通道维 度上； 所述CSP层由连续的标准卷积层CBL与CSP1_X构成； 所述空间金字塔池化操作层SPP采 用提取与融合 不同尺度的特 征图的方法， 增强模型的检测精度； 所述Neck端， 包括第一CSP模块、 第二CSP模块、 第三CSP模块、 融合层Concat、 第一CSP子 模块、 第二CSP子模块、 第三CSP子模块和CSP2_1； 所述CSP模块均由CSP2_1、 标准卷积层CBL 和和层上采样组成； 所述CSP子模块均有顺序连接的CSP2_1和标准卷积层CBL组成； 所述坐 标注意力模块CA输出经所述第一CSP模块后， 与第三CSP层输出经融合层Concat后输入第二 CSP模块； 所述第二CSP模块输出与所述第二CSP层输出经融合层Concat后输入第三CSP模 块； 所述第三CSP模块输出与所述第一CSP层输出经融合层Concat后输入所述第一CSP子模 块； 所述第一CSP子模块输出与所述第三CSP模块的标准卷积层CBL输出经融合层Concat后 输入所述第二CSP 子模块， 所述第二CSP 子模块输出与所述第二CSP模块的标准卷积层CBL输 出经融合层Concat后输入所述第三CSP子模块， 所述第三CSP子模块输出与所述第一CSP模 块的标准卷积层CBL输出 经融合层Co ncat后输入CS P2_1； 所述预测端， 接收Neck端的四个CSP2_1输出， 分别经过卷积操作层Conv后得到不 同尺 寸特征图， 输入Detect