(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221019732 2.4 (22)申请日 2022.03.02 (71)申请人 南京航空航天大 学 地址 211106 江苏省南京市江宁区将军大 道29号 (72)发明人 丁萌　吴博尔　许娟　刘浩　 (74)专利代理 机构 北京方圆嘉 禾知识产权代理 有限公司 1 1385 专利代理师 王月松 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的飞机蒙皮表面损伤检 测方法及系统 (57)摘要 本发明公开了一种基于深度学习的飞机蒙 皮表面损伤检测方法及系统， 涉及图像处理技术 领域， 主要包括： 获取当前采集的飞机蒙皮表面 图像； 将当前采集的飞机蒙皮表 面图像输入到训 练好的飞机蒙皮表面损伤检测模型中以进行损 伤类别检测以及损伤区域分割； 训练好的飞机蒙 皮表面损伤检测模型是基于深度学习神经网络 和训练数据集确定的； 深度学习神经网络包括特 征提取网络、 注意力模块、 多路径多尺度特征融 合模块、 多路径多尺度特征融合模块、 目标检测 网络和全卷积分割网络； 所述注 意力模块用于对 特征提取网络输出的原始特征图进行重新编码， 确定多尺度特征图。 本发明能够对飞机蒙皮表面 损伤进行低成本、 高效、 准确且无损伤检测。 权利要求书3页 说明书9页 附图5页 CN 114565579 A 2022.05.31 CN 114565579 A 1.一种基于深度学习的飞机蒙皮表面损伤检测方法， 其特 征在于， 包括： 获取当前采集的飞机蒙皮表面图像； 将当前采集的所述飞机蒙皮表面图像输入到训练好的飞机蒙皮表面损伤检测模型中 以进行损伤类别检测以及损伤区域分割； 所述训练好的飞机蒙皮表面损伤检测模型是基于深度学习神经网络和训练数据集确 定的； 所述深度 学习神经网络包括特征提取网络、 与 所述特征提取网络的输出端连接的注意 力模块、 与所述注意力模块的输出端连接的多路径多尺度特征融合模块、 与所述多路径多 尺度特征融合模块的第一输出端连接的目标检测网络以及与所述多路径多尺度特征融合 模块的第二输出端连接的全卷积分割网络； 所述注意力模块用于对所述特征提取网络输出的原始特征图进行重新编码， 确定多尺 度特征图。 2.根据权利要求1所述的基于深度学习的飞机蒙皮表面损伤检测方法， 其特征在于， 所 述训练好的飞机蒙皮表面损伤检测模型的确定过程 为： 构建训练数据集； 所述训练数据集包括多张飞机蒙皮表面损伤图像以及每张所述飞机 蒙皮表面损伤图像对应的标签数据； 所述标签数据为所述飞机蒙皮表面损伤图像的损伤类 别以及所述损伤类别对应的损伤区域； 构建深度学习神经网络； 基于所述训练数据集对所述深度学习神经网络进行训练， 得到训练好的飞机蒙皮表面 损伤检测模型。 3.根据权利要求2所述的基于深度学习的飞机蒙皮表面损伤检测方法， 其特征在于， 所 述构建深度学习神经网络， 具体包括： 构建特征提取网络； 所述特征提取网络用于对所述飞机蒙皮表面损伤图像或者所述飞 机蒙皮表面图像进行 特征提取， 以得到原 始特征图； 搭建注意力模块； 搭建多路径多尺度特征融合模块； 所述多路径多尺度特征融合模块用于对所述多尺度 特征图进行 特征融合， 得到融合后的特 征图； 搭建RPN网络； 所述RPN网络用于生成提 议框； 搭建目标框生成网络； 所述目标框生成网络用于根据所述提议框和所述融合后的特征 图， 生成目标框； 构建目标检测网络和全卷积分割网络； 所述目标检测网络用于根据所述融合后的特征 图和所述 目标框进行损伤检测， 确定损伤类别； 所述全卷积分割网络用于基于所述损伤类 别对应的目标框， 对所述融合后的特 征图进行区域分割， 确定损伤区域。 4.根据权利要求3所述的基于深度学习的飞机蒙皮表面损伤检测方法， 其特征在于， 所 述特征提取网络为ResNet网络， 深度为5 0。 5.根据权利要求3所述的基于深度学习的飞机蒙皮表面损伤检测方法， 其特征在于， 所 述构建特 征提取网络， 具体包括： 搭建初始网络； 采用ImageNet数据集对所述初始网络进行权 重训练， 得到特 征提取网络 。权　利　要　求　书 1/3 页 2 CN 114565579 A 26.根据权利要求3所述的基于深度学习的飞机蒙皮表面损伤检测方法， 其特征在于， 所 述搭建注意力模块， 具体为： 搭建通道 注意力模块； 搭建与所述 通道注意力模块的输出端连接的空间注意力模块； 所述通道注意力模块， 用于： 将所述原始特征图在空间维度 上进行全局最大池化和全局平均池化， 得到平均池化特 征向量和最大池化向量； 将所述平均池化特征向量和所述最大池化向量输入到两层共享的多层感知机中， 以输 出特征元素矩阵； 将所述特征元素矩阵进行元素相加后输入到sigmoid中进行激活操作， 得到通道注意 力； 将所述通道注意力与所述原 始特征图相乘， 得到中间特 征图； 所述空间注意力模块， 用于： 将所述中间特征图在通道维度 上进行全局最大池化和全局平均池化， 得到平均池化映 射和最大池化映射； 基于尺度不变约束条件， 通过7 ×7卷积操作将所述平均池化映射和所述最大池化映射 连接， 得到拼接映射； 所述拼接映射输入到sigmo id中进行激活操作， 得到空间特 征注意力； 将所述空间注意力与所述原 始特征图相乘， 得到多尺度特 征。 7.根据权利要求3所述的基于深度学习的飞机蒙皮表面损伤检测方法， 其特征在于， 所 述多路径多尺度特 征融合模块用于采用加权融合方法对所述多尺度特 征图进行 特征融合。 8.根据权利要求7所述的基于深度学习的飞机蒙皮表面损伤检测方法， 其特征在于， 所 述特征融合的计算公式具体为： 其中， ωi为加权融合时第i层特征对应的可学习的参数； ωj为加权融合时第j层特征对 应的可学习参数； 其中， i和j均为特征层的索引值， 且i≠j； Ii为输入的多尺度特征或中间 层临时特征， O为经加权融合后的第一输出特征和第二输出特征的统称； Ci为多尺度特征； 为中间层临时特征； Ni融合后的特征； up和down分别表示上采样和下采样； 为第i 层第一次进行特征融合时对应的可学习参数， 为第i层进行第二次特征融合时对应的权　利　要　求　书 2/3 页 3 CN 114565579 A 3