(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111666451.5 (22)申请日 2021.12.31 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 李斌　李威风　唐立新　牛通之　 张泽丰　邱园红　 (74)专利代理 机构 华中科技大 学专利中心 42201 代理人 尹丽媛　李智 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/774(2022.01)G06V 10/771(2022.01) (54)发明名称 一种表面缺陷检测模型的构建方法及其应 用 (57)摘要 本发明属于图像处理领域， 具体涉及一种表 面缺陷检测模型的构建方法及其应用， 包括： 编 码模块中级联的前m层编码块逐级对训练图像特 征提取得到浅层特征； 将所有浅层特征融合输入 到缺陷定位模块， 利用条形池化得到位置特征， 将位置特征与最后一层级的浅层特征相加后利 用编码模块中级联的后n层编码块逐级进行特征 提取得到深层特征， 将所有深层特征融合后输入 到缺陷形状检测模块， 利用金字塔池化和局部条 形池化得到形状特征， 控制解码模块将形状特征 与部分或全部层级特征逐层上采样、 融合和降 维， 得到缺陷区域； 在缺陷位置标签、 形状标签及 区域标签约束下更新神经网络参数， 迭代训练。 本发明既关注 缺陷位置又强化缺陷形状适应， 实 现对缺陷精确分割。 权利要求书2页 说明书8页 附图4页 CN 114332047 A 2022.04.12 CN 114332047 A 1.一种表面 缺陷检测模型的构建方法， 其特 征在于， 包括： S1、 获取表面缺陷检测模型的神经网络框架， 其包括： 编码模块， 缺陷定位模块， 缺陷形 状检测模块， 以及解码模块； S2、 将训练集中的图像输入到所述编码模块， 所述编码模块中级联的前m层编码块逐级 进行特征提取， 得到不同层级的浅层特 征； S3、 将所有所述浅层特征下采样至相同尺度下并连接为一体输入到所述缺陷定位模 块， 所述缺陷定位模块利用条形池化的方式提取特征中缺陷位置的相关信息， 得到表征缺 陷位置的位置特 征； S4、 将所述位置特征与最后一层级的浅层特征相加后利用编码模块中级联的后n层编 码块逐级进行特征提取， 得到不同层级的深层特征， 将所有深层特征下采样至相同尺度下 并经融合后输入到所述 缺陷形状 检测模块； S5、 控制所述缺陷形状检测模块利用简化金字塔池化和局部条形池化的方式提取特征 中缺陷形状的相关信息， 得到表征缺陷形状的形状特 征并输出至所述 解码模块； S6、 控制所述解码模块将其接收到的特征与所述编码模块得到的部分或全部层级特征 逐层进行 上采样、 融合和降维， 最终得到缺陷区域； S7、 基于所述位置特征和缺陷位置标签、 所述形状特征和缺陷形状标签以及所述缺陷 区域和缺陷区域标签， 计算损失函数以更新神经网络参数， 重复执行S2， 直至达到终止条 件， 完成表面 缺陷检测模型的构建。 2.根据权利要求1所述的一种表面缺陷检测模型的构建方法， 其特征在于， 所述S2还包 括： 控制所述编码模块中的另一个编码块对经编码得到的第 一层级特征进行特征再提取， 更新第一层级特 征， 并用作浅层特 征。 3.根据权利要求1所述的一种表面缺陷检测模型的构建方法， 其特征在于， 所述S3中， 所述缺陷定位模块具体用于： 将接收到的特征利用一个编码块融合各层特征， 再利用不同的卷积单元对融合后的特 征进行降维、 分组， 分组数目根据单张图像中缺陷数目给定， 然后利用行条形池化和列条形 池化分别对分组后的特征进行池化并对池化后的特征上采样融合， 得到反映缺陷位置的特 征。 4.根据权利要求1所述的一种表面缺陷检测模型的构建方法， 其特征在于， 所述S4中， 将所述位置特征利用所述编码模块中级联的后n层编码块逐级进行特征提取， 得到不同层 级的深层特 征， 具体为： 将所述位置特征与最后 一层级的浅层特征相加后利用所述编码模块中级联的后 n层编 码块逐级 进行特征提取， 得到不同层级的深层特 征。 5.根据权利要求1所述的一种表面缺陷检测模型的构建方法， 其特征在于， 所述缺陷形 状检测模块包括简化金字塔池化子模块和局部条形池化子模块； 所述S5中， 所述缺陷形状 检测模块具体用于： 所述简化金字塔池化子模块采用不同大小的方形池化核对所述S4得到的特征V进行池 化操作， 对池化后的特征上采样至与特征V相同尺寸， 然后利用第一卷积单元对 该上采样后 的池化特征融合并降维， 得到特征V1， 该过程受缺陷形状标签约束， 其中， 计算约束时所用权　利　要　求　书 1/2 页 2 CN 114332047 A 2的特征为： 采用第二卷积单 元对特征V1降维后得到的一维特 征V11； 所述局部条形池化子模块采用不同形状的局部行池化核和局部列池化核分别对所述 S4得到的特征V进行池化操作， 对池化后的特征上采样至与特征V相同尺寸， 然后将两种上 采样后的池化特征相加后利用第三卷积单元融合特征， 得到特征V2， 该过程受缺陷形状标 签约束， 其中， 计算约束时所用的特征为： 采用第四卷积单元对特征V2降维后得到的一 维特 征V21； 将所述S4得到的融合特征V、 所述特征V1 以及所述特征V2连接为一体并利用第五卷积 单元融合并进行 特征降维， 得到特 征V'； 将特征V'作为缺陷形状特征W并输出至所述解码模块， 或者， 将所述特征V11和所述特 征V21相加并取softmax后与所述特征V'相乘， 相乘的结果与所述特征V'连接为一体送入到 第六卷积单元中降维融合， 得到缺陷形状特 征W并输出至所述 解码模块。 6.根据权利要求5所述的一种表面缺陷检测模型的构建方法， 其特征在于， 所述神经网 络框架还包括精提取模块； 则所述S5 中得到的形状特征首先输入到所述精提取模块； 所述精提取模块对该形状特 征进行膨胀卷积， 将输出的结果与所述形状特征连接为一体并利用第七卷积单元降维融合 得到特征Z并输入到所述 解码模块。 7.根据权利要求1所述的一种表面缺陷检测模型的构建方法， 其特征在于， 所述S7中的 损失函数l oss为： loss＝ λlossloc+ μ1lossshp+ μ2lossshp+ν lossseg； 其中， lossloc、 lossshp和lossseg分别代表位置损失、 形状损失和分割损失， λ、 μ1、 μ2和 ν 分 别代表三种损失的权 重。 8.根据权利要求7所述的一种表面缺陷检测模型的构建方法， 其特征在于， 所述形状损 失中金字塔池化和 局部条形池化两个过程对应的权 重 μ1、 μ2可设置为相同。 9.一种表面缺陷检测方法， 其特征在于， 采用 如权利要求1至8任一项所述的一种表面 缺陷检测模型的构建方法构建得到的表面 缺陷检测模型进行表面 缺陷检测。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利 要求1至8任一项所述的一种表面缺陷检测模型 的构建方法和/或如权利要求9所述的一种 表面缺陷检测方法。权　利　要　求　书 2/2 页 3 CN 114332047 A 3