(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210741090.4 (22)申请日 2022.06.27 (71)申请人 辽宁工程技术大学 地址 123000 辽宁省阜新市细河区中华路 47号 (72)发明人 宋伟东　张在岩　朱洪波　 (74)专利代理 机构 北京华夏正 合知识产权代理 事务所(普通 合伙) 11017 专利代理师 韩登营 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/762(2022.01)G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) E01C 23/01(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度卷积神经网络的农村公路路 面病害智能检测方法 (57)摘要 本发明公开了一种基于深度卷积神经网络 的农村公路路面病害智 能检测方法， 步骤为： 制 作多类型农村公路路面病害训练数据集； 构建基 于全卷积网络的语义分割模型； 使用Adam优化器 对模型训练过程进行优化； 有重叠地裁剪图像并 在拼接时采 取忽略边缘策略， 大图像裁剪成一系 列与相邻图像块有特定重复区域的图像块， 并把 它们存在链表里， 然后创建生成器， 之后送入训 练号的模型进行预测； 多类型路面病害分类及损 坏状况评定； 通过开发路面技术状况评价系统。 本发明能够解决因裁剪图像边缘区域的上下文 信息较少， 预测结果精度较低， 进而导致提取病 害出现明显拼接痕迹的问题， 实现高分辨率图像 中病害预测结果的准确性、 连续 性。 权利要求书3页 说明书10页 附图10页 CN 114937033 A 2022.08.23 CN 114937033 A 1.一种基于深度卷积神经网络的农村公路路面病害智能检测方法， 其特征在于， 包括 以下步骤： 步骤1： 制作多类型农村公路 路面病害训练数据集； 步骤2： 构建基于全卷积网络的语义分割模型； 步骤3： 使用Adam优化器对 模型训练过程进行优化； 步骤4： 有重叠地裁剪图像并在拼接时采取忽略边缘策略， 大图像裁剪成一系列与相邻 图像块有 特定重复区域的图像块， 并把它们存在链表里， 然后创建生成器， 之后送入训练号 的模型进行 预测； 步骤5： 多类型路面病害分类及损坏状况评 定； 步骤6： 通过开发路面技术状况评价系统， 统计各类病 害回归框的几何特征信 息和类型 信息， 进而计算10 0米评价单 元的路面病害破损率DR， 其评价模型如下式所示： 式中， DR为 路面破损率， 为各种病害的折合面积之和与路面调查面积的百分比； Ai为第i 类路面病害损坏的面积； A为调查的路面 面积； ωi 为第i类路面病害损坏的权 重。 2.如权利要求1所述的基于深度卷积神经网络的农村公路路面病害智能检测方法， 其 特征在于， 所述 步骤1包括： 步骤1.1： 收集的多年份、 多场景路面图像数据， 构 建路面病害图像基准库， 同时增加正 常路面图像作为负 样本； 步骤1.2： 开发针对性的病害目标图像裁 剪程序， 完成数据集原 始图像的预处 理； 步骤1.3： 使用L abelme对病害数据 集进行专家级人工标注， 构 建场景丰富、 异构性强的 多类型路面病害语义分割数据集。 3.如权利要求1所述的基于深度卷积神经网络的农村公路路面病害智能检测方法， 其 特征在于， 所述 步骤2包括： 步骤2.1： 以U型网络架构为基础， 提取下采样部分使用VGG16作 为主干特征提取网络分 别获取发f1、 f2、 f3、 f4、 f5等5个有效特 征层； 步骤2.2： 将f5送入上下文信息提取模块CIEM， 通过提供不同感受野的空洞卷积支路来 获得多尺度下 的路面病害上下文信息提取， 对高级语义特征图进行编码， 感受野大 的卷积 操作为大目标提取和生成更抽象的特 征； 步骤2.3： 将f1、 f2、 f3、 f4分别送入注意力机制模块SE与 特征融合模块FFM的完成特征解 码； 步骤2.4： 最终输出一个与输入图像尺寸相同的逐像素分类的标签图， 每个像素的值显 示了该像素 所属的语义类别。 4.如权利要求3所述的基于深度卷积神经网络的农村公路路面病害智能检测方法， 其 特征在于， 所述 步骤2.3包括： 步骤2.3.1： 将编码器获取的4个特征图谱作为输入信号送入注意力机制模块， 通过 Loss区学习特征权重， 获得每个特征图的重要程度， 提升有效目标区域的通道权重， 抑制非 目标区域的通道特 征， 提升目标的分割效果， 同时避免增 加参数和计算 量； 步骤2.3.2： 提出特征融合模块FFM， 特征融合模块首先对低级别特征和反卷积后的上权　利　要　求　书 1/3 页 2 CN 114937033 A 2一层高级别特征进 行连接， 采用全局最大池化提取特征纹理， 减少无用信息的影响， 进而采 用BN来平衡特征尺度， 得到与编码器浅层特征图尺度相对应的可解释权重矩阵； 然后与高 阶特征图相乘计算加权特征向量， 最后将输出 的特征图与低阶特征图相加， 能够利用高层 次和低层次的混合特 征图来恢复图像 像素的定位。 5.如权利要求4所述的基于深度卷积神经网络的农村公路路面病害智能检测方法， 其 特征在于， 所述 步骤步骤2.3.1具有以下三个操作： 第一个操作Squeeze： 通过全局平均池化， 将每个通道的二维特征(H ×W)压缩为一个实 数， 此实数是根据二维特征所有值计算得出， 最后通过Squeeze操作变为1 ×1×C， 其中z的 第c个元素计算公式如下 所示： 第二个操作Excitation： 通过参数为每个特征通道生成权重值， 每个通道之间的相关 性由两个完全连接的层的瓶颈结构形成， 并输出与输入数量相同的权重值， 采用sigmoid函 数形式的阈值机制表达式如下式所示： s＝Fex(z,W)＝σ(g(z,W) )＝σ(W2δ(W1z)) 其中δ为ReLU函数， 使用两个全连接层利用阈值机制将参数过 滤， 其中第一个全连接层起到降低维度的作用， 降维系数为r为一个超参数， 接着利用ReLU 函数激活， 第二个全连接层的作用为恢复原 始的维度； 第三个操作Scale： 根据前面标准化得到的权重赋予到每个通道的特征上， 将每个通道 乘以其对应的通道系 数， 完成将注意力机制引入通道维度， 将学习到的每个通道的特征利 用sigmoid函数进行激活， 再乘以U上的原 始特征， 表达式如下式所示： 式中 和Fscale(uc,sc)代表uc∈RH×W和标量sc之间的通道 乘法。 6.如权利要求1所述的基于深度卷积神经网络的农村公路路面病害智能检测方法， 其 特征在于， 所述步骤3的具体方法为： 训练过程中预训练权重模型使用由VOC数据集训练最 优的权重， 在冻结阶段将主干特征提取网络的参数进 行冻结； 在完成冻结世代训练完 毕后， 开始训练解冻阶段， 通过并行计算尝试多个参数组合， 通过验证选择最佳参数组合。 7.如权利要求2所述的基于深度卷积神经网络的农村公路路面病害智能检测方法， 其 特征在于， 所述 步骤5包括： 步骤5.1： 以多类型病害分类样本为基础， 编程实现路面病害统计特征与结构特征提 取； 步骤5.2： 路面病害分类网络的优化设计， 采用径向基概率神经网络构建多类型病 害分 类模型； 输入层设计4个节 点对应特征向量， 第一隐层神经元由k ‑means聚类法确定， 第二隐 层对第一隐层按类别进行求和， 第二隐层与输出层的连接权值采用递推最小二乘法确定， 输出层设计6个节点， 分别对应横向裂缝、 纵向裂缝、 块状 裂缝、 龟裂、 坑槽和修补； 步骤5.3： 病害参数及PCI评价指数计算， 通过下式计算裂缝的平均宽度， 并以此判断线 性裂缝的病害等级：权　利　要　求　书 2/3 页 3 CN 114937033 A 3