(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210234834.3 (22)申请日 2022.03.11 (65)同一申请的已公布的文献号 申请公布号 CN 114419029 A (43)申请公布日 2022.04.29 (73)专利权人 深圳艾灵网络有限公司 地址 518000 广东省深圳市南 山区粤海街 道滨海社区海天一路19、 17、 18号深圳 市软件产业基地 4栋524 (72)发明人 杜鹏超　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 王思楠 (51)Int.Cl. G06T 7/00(2017.01)G06T 7/11(2017.01) G06T 3/40(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (56)对比文件 CN 113822889 A,2021.12.21 CN 113822889 A,2021.12.21 CN 111862097 A,2020.10.3 0 CN 112381763 A,2021.02.19 CN 113888477 A,2022.01.04 审查员 郑明月 (54)发明名称 表面缺陷检测模 型的训练方法、 表 面缺陷检 测方法及装置 (57)摘要 本申请提供一种表面缺陷检测模型的训练 方法、 表面缺陷检测方法及装置， 涉及表面缺陷 检查技术领域。 该训练方法包括： 获取预设工件 的多组样 本图像， 每组样本图像中各样本图像上 标注有一类表面缺陷， 对每组样 本图像中各样本 图像上的表 面缺陷所在的区域进行剪裁， 得到一 类表面缺陷图像， 将多类表面缺陷图像随机粘贴 至多组样本图像中， 得到样本图像集， 采用 样本 图像集进行模 型训练， 得到预设工件的表面缺陷 检测模型， 表 面缺陷检测模型用于对 预设工件的 表面图像进行处理， 得到表面图像对应的多种表 面缺陷的检测分值， 以确定预设工件的表面是否 存在对应的表 面缺陷。 通过本申请可以提高训练 得到的表面 缺陷检测模型的检测精度。 权利要求书3页 说明书13页 附图7页 CN 114419029 B 2022.06.24 CN 114419029 B 1.一种表面 缺陷检测模型的训练方法， 其特 征在于， 所述方法包括： 获取预设工件的多组样本图像， 每组样本图像中各样本图像上 标注有一类表面 缺陷； 对所述每组样本图像中各样本图像上的表面缺陷所在的区域进行剪裁， 得到一类表面 缺陷图像； 将多类表面 缺陷图像随机粘贴至所述多组样本图像中， 得到样本图像集； 采用所述样本 图像集进行模型训练， 得到所述预设工件的表面缺陷检测模型， 所述表 面缺陷检测模型用于对所述预设工件的表面图像进行 处理， 得到所述表面图像对应多种表 面缺陷的检测分值， 以确定所述预设工件的表面是否存在对应的表面 缺陷； 所述采用所述样本 图像集进行模型训练， 得到所述预设工件的表面缺陷检测模型， 包 括： 根据第一优化器， 采用所述样本 图像集对预设网络模型训练第一预设次数， 得到所述 预设工件的初始模型， 其中， 所述第一优化器用于 向所述预设网络模型 的损失函数添加由 所述预设网络模型的所有权重的平方和组成的惩罚项， 并乘以预设超参数以控制惩罚力 度， 以根据所述预设网络模型的损失函数调整所述预设网络模型的参数； 根据第二优化器， 采用所述样本 图像集对所述初始模型训练第二预设次数， 得到所述 预设工件的表面缺陷检测模型， 其中， 所述第二优化器用于让所述初始模型 的损失函数收 敛到最低， 以根据所述初始模型的损失函数调整所述初始模型的参数。 2.根据权利要求1所述的训练方法， 其特征在于， 所述将多类表面缺陷 图像随机粘贴至 所述多组样本图像中， 得到样本图像集之前， 所述方法还 包括： 对所述多类表面 缺陷图像进行缩放处 理； 所述将多类表面 缺陷图像随机粘贴至所述多组样本图像中， 得到样本图像集， 包括： 将缩放处理前后的所述多类表面缺陷图像随机粘贴至所述多组样本图像中， 得到所述 样本图像集。 3.根据权利要求1所述的训练方法， 其特征在于， 所述将多类表面缺陷 图像随机粘贴至 所述多组样本图像中， 得到样本图像集之前， 所述方法还 包括： 对所述多类表面缺陷 图像进行复制， 使得复制后的所述多类表面缺陷 图像的数量达到 对应的目标阈值。 4.根据权利要求1所述的训练方法， 其特征在于， 所述采用所述样本图像集进行模型训 练， 得到所述预设工件的表面 缺陷检测模型之前， 所述方法还 包括： 对所述样本图像集进行 数据增强； 所述采用所述样本 图像集进行模型训练， 得到所述预设工件的表面缺陷检测模型， 包 括： 采用数据增强后的所述样本图像集进行模型训练， 得到所述预设工件的表面缺陷检测 模型。 5.根据权利要求1 ‑4任一所述的训练方法， 其特征在于， 所述表面缺陷检测模型包括： 多个特征提取模块、 多个特征融合模块， 以及预测模块； 所述多个特征提取模块用于 分别提 取多个不同尺寸的特征图， 其中， 前一个特征提取模块连接后一个特征提取模块， 第一个特 征提取模块用于 接收输入的表面图像； 每个特征融合模块连接两个特征提取模块， 以对相邻两种尺寸的特征图进行特征融权　利　要　求　书 1/3 页 2 CN 114419029 B 2合， 所述多个特征融合连接所述预测模块， 所述预测模块用以对融合后的特征图进 行处理， 得到所述表面图像的缺陷检测结果。 6.一种表面 缺陷检测方法， 其特 征在于， 所述方法包括： 获取预设工件的表面图像； 根据所述预设工件的表面缺陷检测模型， 对所述表面图像进行处理， 得到所述表面图 像的第一缺陷检测结果， 所述第一缺陷检测结果包括： 所述表面图像对应多种表面缺陷的 检测分值， 所述表面 缺陷检测模型为采样上述权利要求1 ‑5任一所述的训练方法得到的； 根据所述多种表面缺陷的检测分值， 以及所述多种表面缺陷对应的预设检测阈值， 得 到所述预设工件的第二缺陷检测结果， 所述第二缺陷检测结果包括： 所述预设工件上是否 存在对应的表面 缺陷的指示信息 。 7.根据权利要求6所述的方法， 其特征在于， 所述第一缺陷检测结果还包括： 所述多种 表面缺陷的检测框； 所述方法还 包括： 若在预设工件上存在目标表面缺陷， 则在所述表面图像上所述目标表面缺陷的检测框 所在的位置对所述目标表面 缺陷进行 标记； 所述第二 缺陷检测结果还 包括： 标记有所述目标表面 缺陷的所述表面图像。 8.一种表面 缺陷检测模型的训练装置， 其特 征在于， 所述装置包括： 样本图像获取模块， 用于获取预设工件的多组样本 图像， 每组样本 图像中各样本 图像 上标注有一类表面 缺陷； 图像区域裁剪模块， 用于对所述每组样本图像中各样本图像上的表面缺陷所在的区域 进行剪裁， 得到一类表面 缺陷图像； 缺陷图像粘贴模块， 用于将多类表面缺陷图像随机粘贴至所述多组样本 图像中， 得到 样本图像集； 检测模型训练模块， 用于采用所述样本 图像集进行模型训练， 得到所述预设工件的表 面缺陷检测模型， 所述表面缺陷检测模型用于对所述预设工件的表面图像进行处理， 得到 所述表面图像对应多种表面缺陷的检测分值， 以确定所述预设工件的表面是否存在 对应的 表面缺陷； 所述检测模型训练模块， 包括： 第一训练单元， 用于根据第一优化器， 采用所述样本 图像集对预设网络模型训练第一 预设次数， 得到所述预设工件的初始模 型， 其中， 所述第一优化器用于向所述预设 网络模型 的损失函数添加由所述预设 网络模型的所有权重的平方和组成的惩罚项， 并乘以预设超参 数以控制惩罚力度， 以根据所述预设网络模型的损失函数调整所述预设网络模型的参数； 第二训练单元， 用于根据第二优化器， 采用所述样本 图像集对所述初始模型训练第二 预设次数， 得到所述预设工件的表面缺陷检测模型， 其中， 所述第二优化器用于让所述初始 模型的损失函数收敛到最低， 以根据所述初始模型的损失函数调整所述初始模型的参数。 9.一种表面 缺陷检测装置， 其特 征在于， 所述装置包括： 表面图像获取模块， 用于获取 预设工件的表面图像； 第一检测结果获取模块， 用于根据所述预设工件的表面缺陷检测模型， 对所述表面图 像进行处理， 得到所述表面图像的第一缺陷检测结果， 所述第一缺陷检测结果包括： 所述表 面图像对应多种表面缺陷的检测分值， 所述表面缺陷检测模型为采样上述权利要求1 ‑5任权　利　要　求　书 2/3 页 3 CN 114419029 B 3