(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229869.8 (22)申请日 2022.03.10 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 陈军　刘烨　 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多路卷积特征融合网络与差温知 识蒸馏的路面裂缝图像轻量 化分割方法 (57)摘要 本发明设计了一种基于多路卷积特征融合 网络与差温知识蒸馏的路面裂缝图像轻量化分 割方法， 其包含了一种基于多路卷积特征融合的 轻量化分割网络设计方法与一种基于差温知识 蒸馏的模型训练方法， 解决了 现有基于深度学习 的道路路面图像 分割网络难以应用的问题。 本发 明设计了一种多路卷积特征融合网络结构， 其包 含标准卷积路径、 长方卷积路径、 膨胀卷积路径 与融合路径， 能在浅网络层与窄特征通道的条件 下保持良好的分割性能。 本发明拓展了知识蒸 馏， 通过制造差异温度参数进一步缩小轻量化网 络的收敛空间， 从而提升网络性能。 最终基于本 发明所训练出来的轻量化网络能够部署到嵌入 式设备中执行高效准确的路面裂缝分割检测任 务。 权利要求书3页 说明书5页 附图3页 CN 114943832 A 2022.08.26 CN 114943832 A 1.一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法， 其特征在于， 包括如下步骤： 步骤一： 收集路面裂缝图像， 对图像进行数据分析、 数据清理与数据增广等操作， 对裂 缝图像进行分割标注并创建训练实例； 步骤二： 根据数据分析所获得的先验知识， 设计构建复杂多路卷积特征融合深度神经 网络与不平衡损失函数， 针对裂缝的不同特征进行差异性提取， 再融合提取到的差异性特 征用于预测分割标签； 步骤三： 训练构建好的复杂神经网络， 经过反复实验后得到性能优越的复杂深度神经 网络； 步骤四： 修改复杂神经网络分类层参数， 使复杂神经网络推理软目标分割标签， 并将软 目标分割标签视作轻量 化神经网络训练数据集的一部分； 步骤五： 设计构造与复杂网络具有相似结构的轻量化多路卷积特征融合神经网络， 使 用差温知识蒸馏的模型训练方案让轻量化网络学习复杂神经网络的知识， 从而使轻量化分 割神经网络保持优良性能； 步骤六： 对轻量 化分割神经网络进行修剪与量 化， 进一步压缩网络 。 步骤七： 将训练得到的基于多路卷积特征融合的轻量化神经网络部署至嵌入式设备， 连接摄像头并安置在移动智能小车 上， 执行快速自动化巡检路面裂缝任务。 2.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝 图像轻量化分割方法， 其特征在于， 在步骤一中， 经过数据 清洗构建的数据对不是单一的对 应关系， 而是一张原始图像对应四张真实标签的关系， 并且四张真实标签的相似性会随着 训练进程而发生改变。 平 面彩色图像的数学表达式可表 示为I＝f(x,y, λ )， 其中x表 示空间x 轴上的值， y表 示空间y轴上的值,这两者表示像素的空间位置， λ表 示波长， 在彩色图像中一 般指RGB三通道。 标注图的数学图像可表示为L＝f ′(x,y),标注图像不包含色彩信息， 只包 含相应区域的语义信息， 0代表路面背景， 1代表裂缝。 为了适应不平衡损失函数， 数据集构 建的额外特征在于标注图像会在数据预处理中扩展为正反两种 标签， 在第一通道中0代表 路面背景， 1代表裂缝， 在第二通道中1表示路面背景， 0表 示裂缝。 这种处理方式是为了适应 不平衡损失函数的运 算要求。 3.根据权利要求1与2所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面 裂缝图像轻量化分割方法， 其特征在于， 数据集构建与不平衡损失函数的对应关系。 不平衡 损失函数将对标注图像不同的通道附加 不同的权重值， 从而突破单通道图像的限制， 实现 对不平衡 类(背景与裂缝)进行控制。 其中Yi代表原始标签， 代表预测标签， w代 表权重值， n代 表样本数量。 4.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝 图像轻量化分割 方法， 其特征在于， 步骤二中所提取到的先验知识为裂缝一般具有贯穿图 像与长宽比大的特点。 因此有针对性地设计了多路卷积， 分别包括了普通卷积路径、 膨胀卷权　利　要　求　书 1/3 页 2 CN 114943832 A 2积路径、 长方卷积路径三种卷积路径， 并在融合路径中融合所有 特征信息。 三条卷积路径的 组成是相似的， 都以编码器 ‑解码器为主要的神经网络结构。 以标准卷积路径的全程为例， 其包含图像调整层(由填充层、 卷积层、 批标准化层与激活层组成， 主要目的是调整输入数 据的尺寸)、 下采样层(由卷积层、 批标准化层与激活层组成的卷积块堆叠而成， 主要目的是 对数据进行下采样与特征提取)、 特征增强层(由填充层、 卷积层、 批标准化层与激活层通过 残差连接组合的残差块堆叠而成， 主要目的是对特征信息进行增强)、 上采样层(由反卷积 层、 批标准化层与激活层组成的反卷积块堆叠而成， 主要目的是对数据进行上采样与特征 解码)、 图像调整层(由填充层、 卷积层组成， 主要目的是调整输入数据的尺寸)、 分类层(由 注意力模块与归一化指数函数组成， 目的是执行预测)。 复杂多路卷积特征融合的神经网络 的初始通道宽度设置为64， 下采样层与上采样层均设置为2层， 特 征增强层设置为8层。 5.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝 图像轻量化分割 方法， 其特征在于， 步骤二中所提取到的信息还包括裂缝图像是一项典型 类不平衡问题。 为了在轻量化网络设计的设计中解决此问题， 本发明在多路卷积特征融合 神经网络的分类层中加入了注意力模块。 注意力模块通过分离数据， 提取一部分数据信息 作为注意力掩膜， 提取另一部分数据信息作为内容掩膜， 再通过乘法连接注意力掩膜与内 容掩膜以加强网络对裂缝区域的关注度。 本发明提出的注意力模块在仅增加少量参数的情 况下极大地缓解了类不平衡问题。 6.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝 图像轻量化分割 方法， 其特征在于， 步骤四中通过修改训练好的复杂多路卷积特征融合网 络中的归一 化指数函数， 其中的SoftMax函数 可表示为： 其中zi代表特征信息值， T代表SoftMax函数 的温度值， 通过修改T可以改变概率结果qi 的值， 最终改变预测结果的概率图。 载入复杂多路卷积特征融合深度神经网络并将T值由1 修改为10， 对训练数据与验证数据进 行重新推理， 得到经过标签软化的数据标签结果， 并且 将这些结果组合在一 起构建为轻量 化网络的训练集。 7.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝 图像轻量化分割方法， 其特征在于， 步骤五中的轻量化网络设计方法与差温知识蒸馏方法。 轻量化网络设计方法为， 将轻量化多路卷积特征融合神经网络的初始通道宽度设置为16， 下采样层与上采样层均设置为2层， 特征增强层设置为4层， 并且将特征增强层中的卷积层 替换为深度可分离卷积层。 知识蒸馏是通过构建一个轻量化模型， 利用性能更好的复杂模 型的监督信息训练轻量化模型， 以期达到更好的性能和精度。 这种 方式有效地缩小了轻量 化网络的收敛空间， 从而使轻量化网络也能表现出良好的性能。 差温知识蒸馏对获取 的预 处理真实标签不做处理， 将推理得到软标签的温度值T1设置为10， 在执行硬标签预测时将 温度值T2设置为10。 经过这种处理方 式后， 轻量化 网络的收敛空间会进一步收敛， 提升轻量 化网络的性能。 本发明共提出高温知识蒸馏与差温知识蒸馏两种 策略， 这两种参数设置与 理念是由本发明首次提出并实 践。 8.根据权利要求1或6所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面权　利　要　求　书 2/3 页 3 CN 114943832 A 3