(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210729377.5 (22)申请日 2022.06.24 (71)申请人 合肥工业大 学 地址 230000 安徽省合肥市包河区屯溪路 193号 (72)发明人 訾斌　唐锴　周斌　钱森　徐锋　 李元　赵嘉浩　 (74)专利代理 机构 合肥三川专利代理事务所 (普通合伙) 3415 0 专利代理师 潘光亮 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种应用 于涂层缺陷检测领域的数据增强 方法 (57)摘要 本发明公开了一种应用于涂层缺陷检测领 域的数据增强方法及系统， 主要针对样本数据量 少， 各类别比例分布不均衡， 含大量小样本且密 集聚集的涂层缺陷数据集， 包括： 1.根据原始数 据集制作特征图数据库； 2.基于原图各类别先验 准确率和数量， 从特征图数据库中随机抽取对应 特征图并自适应加权映射到原图中； 3.以一定的 概率与另外多张原 图进行变换组合拼接成新的 图片。 本发明生成的新图与原图相关性小， 可根 据不同复杂应用环境， 动态调整超参和函数， 丰 富样本特征和数量， 避免传统数据增强可能带来 的过拟合问题。 通过消融实验表明， 经该数据增 强训练后的模型具有更好的识别准确率和泛化 性， 且该方法无需人工二次标注。 权利要求书3页 说明书9页 附图3页 CN 115205626 A 2022.10.18 CN 115205626 A 1.一种应用于 涂层缺陷检测领域的数据增强方法， 其特 征在于， 包括以下步骤： 步骤1、 获取多张图片， 每张图片至少显示一种类别的涂层缺陷， 对每张图片分别按各 自对应的至少一种涂层缺陷类别人工标 出相应标签； 步骤2、 将步骤1分别标注有标签的多张图片中的部分图片划分作为预训练集， 其余图 片划分作为测试集， 并将预训练集和测试集中的图片分别进行数据 处理， 转化为深度学习 网络模型训练所需的数据格式； 步骤3、 采用步骤2得到的预训练集的图片数据对深度学习网络模型进行预训练， 并用 步骤2得到的测试集的图片数据对深度学习网络模型进行测试， 根据测试结果得到深度学 习网络模型对各种涂层缺陷类别的先验识别准确率； 步骤4、 从预训练集的每张图片中分别确定对应包含的涂层缺陷部分的位置， 并分离出 所有的涂层缺陷部分作为特征图片， 根据特征图片对应的涂层缺陷的类别， 建立涂层缺陷 特征图数据库， 所述涂层缺陷特征图数据库包含预训练集每张图片对应的特征图片， 并按 涂层缺陷的类别归类各个图片的特 征图片； 步骤5、 从预训练集中随机选取一张图片作为待增强原图， 对待增强原图进行第 一随机 变换， 得到变换后的图片， 并根据第一 随机变换过程中使用的矩阵变换和图像处理技术得 到第一随机变换后图片的标注标签， 通过第一随机变换减小最终增强后的图片与原图的相 关性； 步骤6、 基于待增强原图包含的涂层缺陷类别、 待增强原图包含的涂层缺陷类别在深度 学习网络模型中的先验识别准确率、 以及待增强原图包含的各涂层缺陷类别数量， 按以下 公式从所述涂层缺陷特征图片数据库中随机选取待增强原图中包含的各类别的待映射特 征图片的数量， 公式如下： 其中， pi为待增强原图包含的涂层缺陷类别在深度学习网络模型中对应的先验识别准 确率， i＝1、 2、 3、 4 ……n， n为待增强原图包含的涂层缺陷类别的总数， m为待增强原图包含 的涂层缺陷类别的总数， v为超参系数可动态调控随机选取的某特定类别的数量， 以缓解类 不均衡问题； 然后， 分别对随机选取的各个特征图片进行第 二随机变换， 得到变换后的特征图片， 通 过第二随机变换减小最终增强后的图片与原图的相关性； 步骤7、 将经过第二随机变换后的特征图片， 通过自适应加权映射到经过第 一随机变换 后的图片 中， 更新经过第一 随机变换后的待增强原图的对应标注标签， 并对映射后的原图 和对应标注标签进行第三随机变换得到变换后的图片， 并根据第三随机变换过程中使用的 矩阵变换和图像处理技术得到第三随机变换后图片的标注标签。 通过第三随机变换减小最 终增强后的图片与原图的相关性； 步骤8、 在1～9中随机生成一个随机数， 若生成的随机数在7～9中， 则从所述预训练集 中随机选取多张不同的图片和对应标注标签， 将选取的多张图片与经过第三随机变换后的 图片进行拼接得到最 终数据增强后的图片， 并根据拼接过程中使用的矩阵变换和图像处理 技术得到最 终数据增强后图片的标注标签， 将最 终数据增强后的图片和对应标注标签添加权　利　要　求　书 1/3 页 2 CN 115205626 A 2到新的训练集， 用于后续对深度学习网络模型进行训练， 否则将经过第三 随机变换后的图 片和对应标签作为最终数据增强后的图片和对应标注标签， 添加到新的训练集， 用于后续 对深度学习网络模型进行训练。 2.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法， 其特征在于， 步骤2中， 按6:4的比例划分预训练集、 测试集。 3.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法， 其特征在于， 步骤2、 3、 6中所述的深度学习网络模型为YOLOv5模型。 4.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法， 其特征在于， 步骤4中， 从预训练集的每张图片中分别确定包含的涂层缺陷部 分在图片中的坐标， 并统计 每张图片包含的涂层缺陷的类别， 然后根据坐标从图片中裁剪出所有的涂层缺陷部 分作为 特征图片， 接着基于类别归类各个图片的涂层缺陷， 由此 得到涂层缺陷特 征图数据库。 5.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法， 其特征在于， 步骤5中， 所述第一 随机变换包括随机缩放图片大小、 随机镜像、 随机中心点移动和随机旋 转操作。 6.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法， 其特征在于， 步骤6中， 首先对待增强原图中的背 景环境和特征图片进行 统计分析， 通过待增强原图背 景 中存在的涂层缺陷类别过滤掉在随机选取特征图时， 一些不符合该待增强原图场景的特征 图片， 使数据增强符合 实际情况； 然后， 再根据公式从所述涂层缺陷特征图片数据库中随机 选取各对应类别的多张特 征图片。 7.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法， 其特征在于， 步骤6中， 第二随机变换包括随机缩放图片大小、 随机翻转和随机 旋转操作。 8.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法， 其特征在于， 步骤7中所述自适应加权映射过程如下： (7.1)、 设待增强原图的宽和高为 w1和h1,特征图片的宽和高为f_w和f_h； (7.2)、 计算 f_w/2、 f_h/2， 若满足f_w/2≥w1‑f_w/2或f_h/2≥h1‑f_h/2， 则判别为该特 征图片不 适合待增强原图， 将该 特征图片丢弃； (7.3)、 计算 f_w/2、 f_h/2， 若不满足f_w/2≥w1‑f_w/2或f_h/2≥h1‑f_h/2， 则在经第 一 随机变换后图片中随机选择特征图片的中心点Fea_c＝[random(f_w/2,w1‑f_w/2)， random (f_h/2,h1‑f_h/2)]， 得到特征图片在经第一随机变换后图片中的先验标注框box＝[xmin, ymin,xmax,ymax]； 然后， 计算先验标注框box与经第一随机变换后图片中的标注框的交集区域坐标 inter_box和交集面积， 当交集面积与先验 标注框box面积的比值 或者交集面积与经第一随 机变换后图片中的标注框面积的比值大于初始设定阈值conf， 则判别该特征图片在经第一 随机变换后图片中的位置不 合适， 重复本步骤(7.3)， 否则进行 下一步； (7.4)、 为防止特征图片映射到经第一随机变换后图片造成经第一随机变换后图片中 的部分特征丢失和标注框位置偏移现象， 计算步骤(7.3)中得到的先验标注框box与经第一 随机变换后图片中每一个标注框的交集区域的面积； 若交集区域的面积大于0， 则根据交集区域坐标inter_box裁剪出经第一随机变换后图 片中的交集图片inter_img1， 并随后将特征图片映射到经第一随机变换后图片中， 得到映权　利　要　求　书 2/3 页 3 CN 115205626 A 3