(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210889914.2 (22)申请日 2022.07.27 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 董航程　刘国栋　刘炳国　高卓　 黄颖妍　廖敬骁　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 岳昕 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/136(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06Q 10/00(2012.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于深度学习算法的表面 缺陷检测方法 (57)摘要 基于深度学习算法的表 面缺陷检测方法， 解 决了现有采用深度学习算法进行表面缺陷检测 时存在样 本不均衡的问题， 属于工业生产中检测 技术领域。 本发明包括： 基于深度学习算法建立 表面缺陷分类模型， 利用初始训练样本集D1对表 面缺陷分类模型进行训练； 对D1中各类表面缺陷 图像样本进行采样， 获得均衡图像样本集D2， 利 用D2继续对表面缺陷分类模型进行训练， 训练过 程中， 冻结表面缺陷分类模型中卷积层的参数， 调整全连接层的参数， 直至表 面缺陷分类模型收 敛； 利用表 面缺陷分类模型对待检测图像样本进 行检测， 计算弱监督定位信息； 并进行阈值分割 处理， 利用二值化阈值， 生成缺陷的位置掩膜， 完 成表面缺陷检测。 权利要求书2页 说明书4页 附图1页 CN 115205275 A 2022.10.18 CN 115205275 A 1.基于深度学习算法的表面 缺陷检测方法， 其特 征在于， 所述方法包括： S1、 基于深度学习算 法建立表面缺陷分类模型， 利用初始训练样本集D1对表面缺陷分类 模型进行训练； S2、 对初始训练样本集D1中各类表面缺陷图像样本进行采样， 获得均衡图像样本集， 利 用均衡图像样本集继续对S1的表面缺陷分类模型进行训练， 训练过程中， 冻结表面缺陷分 类模型中卷积层的参数， 调整全连接层的参数， 直至表面 缺陷分类模型收敛； S3、 利用表面缺陷分类模型对待检测图像样本进行检测， 计算表面缺陷分类模型的弱 监督定位信息； S4、 对弱监督定位信息进行阈值分割 处理， 利用二值化阈值， 生成缺陷的位置掩膜， 完 成表面缺陷检测。 2.基于深度学习算法的表面 缺陷检测方法， 其特 征在于， 所述方法包括： S1、 基于深度学习算法建立表面 缺陷分类模型， 对表面 缺陷分类模型进行训练； S2、 对各类样本进行m次采样， 获得m个均衡样本集， 利用m个均衡样本集分别对S1的表 面缺陷分类模型进行训练， 获得m个表面缺陷分类模型， 训练过程中， 冻 结表面缺陷分类模 型中卷积层的参数， 调 整全连接层的参数， 直至表面缺陷分类模型收敛； α1表 示最多的一类样本的数量， αn表示最少的一类样本的数量； 使用集成方法， 统计m个表面 缺陷分类模型的分类结果， 输出最终的缺陷分类 类别； S3、 利用m个表面缺陷分类模型对待检测图像样本进行检测， 确定缺陷分类类别， 计算m 个表面缺陷分类模型中召回率 最高的表面 缺陷分类模型的弱监 督定位信息； S4、 对S3计算的弱监督定位信息进行阈值分割处理， 利用二值化 阈值， 生成缺陷的位置 掩膜， 完成表面 缺陷检测。 3.根据权利要求1或2所述的基于深度学习算法的表面缺陷检测方法， 其特征在于， 所 述S2中， 获得均衡样本集的方法包括： 初始训练样本集D1， 共有n类样本， 每类样本 数量为α1， α2， ... αn， α1＞α2＞…＞αn， 则对每 一类样本， 都随机抽取αm张子样本， 形成均衡样本集D2， αm≤αn。 4.根据权利要求2所述的基于深度学习算法的表面缺陷检测方法， 其特征在于， 所述方 法还包括： 使用投票法或平均法统计m个表面缺陷分类模型的分类结果， 选择票数最高的类别或 平均值最高的类别为 最终输出的缺陷分类 类别。 5.根据权利要求1或2所述的基于深度学习算法的表面缺陷检测方法， 其特征在于， S3 中， 使用全梯度方法计算表面 缺陷分类模型的弱监 督定位信息S： 其中， F表示表面缺陷分类模型， 是第l层第c个通道的输出， 是相应的偏置， L是卷 积层的总层数， cl是第l层卷积核的通道数， x表示输入的待检测图像样本， ⊙表示同或运 算， 函数φ( ·)是指： φ(·)＝upsample(rescale(abs( ·))) abs(·)指绝对值函数， rescale( ·)指归一化操作， 将输入归一化到0 ‑1之间，权　利　要　求　书 1/2 页 2 CN 115205275 A 2upsample( ·)表示上采样 操作， 用于将输入 插值到与x同一维度。 6.根据权利要求1或2所述的基于深度学习算法的表面缺陷检测方法， 其特征在于， S4 中， 二值化阈值的确定方法包括： 在训练样本集中选取若干张样本， 选择多个二值化阈值， 然后进行人眼评判， 确定个合 适的值作为检测时的二 值化阈值。权　利　要　求　书 2/2 页 3 CN 115205275 A 3