(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210944247.3 (22)申请日 2022.08.08 (65)同一申请的已公布的文献号 申请公布号 CN 115018842 A (43)申请公布日 2022.09.06 (73)专利权人 中科航迈数控软件 （深圳） 有限公 司 地址 518000 广东省深圳市南 山区桃源街 道平山社区留仙大道 4168号众冠时代 广场A座2010 (72)发明人 郭媛君　刘祥飞　吴承科　张亚宁　 汪军　谭家娟　蒋锐　杨之乐　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 陈专(51)Int.Cl. G06T 7/00(2017.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/26(2022.01) G01N 21/88(2006.01) (56)对比文件 CN 113284086 A,2021.08.20 CN 112614125 A,2021.04.0 6 CN 113484333 A,2021.10.08 CN 113469921 A,2021.10.01 审查员 谭岳峰 (54)发明名称 基于机器视觉的缺陷检测方法、 装置、 终端 及存储介质 (57)摘要 本发明公开了基于机器视觉的缺陷检测方 法、 装置、 终端及存储介质。 本发明通过 获取目标 部件各常见受损部位分别对应的缺陷图像集， 通 过这些缺陷图像集确定目标部件上缺乏缺陷数 据的区域。 针对缺乏缺陷数据的区域制作补充图 像集， 以增加缺陷检测模型的缺陷数据集的种 类。 解决了现有技术中缺陷检测模 型的训练数据 通常只包含有加工部件上常见受损区域的缺陷 数据， 训练数据种类局限， 导致训练出的缺陷检 测模型的准确性和可靠性 不高的问题。 权利要求书4页 说明书9页 附图2页 CN 115018842 B 2022.11.11 CN 115018842 B 1.一种基于 机器视觉的缺陷检测方法， 其特 征在于， 所述方法包括： 获取目标部件对应的三维图像,将所述三维图像输入缺陷检测模型， 得到所述目标部 件对应的缺陷检测结果， 其中， 所述缺陷检测模型预先经过所述 目标部件对应的缺陷数据 集训练； 所述缺陷数据集的生成方法包括： 获取若干缺陷图像集， 其中， 每一所述缺陷图像集包括若干缺陷三维图像， 各所述缺陷 三维图像分别基于与所述目标部件相同类型的缺陷部件生成， 各所述缺陷图像集分别对应 的缺陷区域 不同； 根据各所述缺陷图像集， 确定补充图像集， 其中， 所述补充图像集包括若干补充图像， 每一所述补充图像对应的缺陷区域与各 所述缺陷图像集分别对应的缺陷区域 不同； 根据各所述缺陷图像集和各 所述补充图像集， 确定所述 缺陷数据集； 所述获取目标部件 对应的三维图像， 包括： 获取所述目标部件对应的若干拍摄图像， 其中， 若干所述拍摄图像分别对应的拍摄角 度不同； 判断各所述拍摄图像中是否存在遮挡物， 根据判断结果将各所述拍摄图像分为无遮挡 物的第一拍摄图像和有遮挡物的第二拍摄图像； 对各所述第二拍摄图像进行图像修复， 得到各所述第二拍摄图像分别对应的修复图 像； 根据各所述第一拍摄图像和各 所述修复图像， 确定所述 三维图像； 所述判断各 所述拍摄图像中是否存在遮挡物， 包括： 获取每一所述拍摄图像对应的目标局部 图像， 其中， 所述目标局部 图像为该拍摄图像 中所述缺陷部件 对应的局部图像； 获取所述目标局部图像对应的平均 灰度值， 确定所述目标局部图像中与所述平均 灰度 值的偏差大于偏差阈值的异常像素点； 根据各所述异常像素点的位置对各所述异常像素点进行聚类， 得到若干离散的像素 片， 其中， 每一所述像素片中的像素点均为所述异常像素点； 当任意一个所述像素片中的像素点数量大于数量阈值 时， 判断该拍摄图像中存在遮挡 物； 所述获取若干缺陷图像集， 包括： 获取缺陷部件对应的若干缺陷三维图像和各所述缺陷三维图像分别对应的缺陷区域， 其中， 所述 缺陷部件与所述目标部件 对应的部件类型相同； 根据各所述缺陷三维图像分别对应的缺陷区域对各所述缺陷三维图像进行分类， 得到 若干所述 缺陷图像集； 所述根据各所述缺陷图像集， 确定补充图像集， 包括： 获取标准部件对应的标准三维图像， 其中， 所述标准部件与所述目标部件对应的部件 类型相同， 且所述标准部件不存在缺陷区域； 根据各所述缺陷图像集和所述标准三维图像， 确定所述标准部件对应的若干目标区 域， 其中， 每一所述目标区域与各 所述缺陷图像集分别对应的缺陷区域均不相同； 根据所述标准三维图像和各所述目标区域， 确定各所述目标区域分别对应的所述补充权　利　要　求　书 1/4 页 2 CN 115018842 B 2图像， 其中， 每一所述 目标区域对应的所述补充图像用于反 映所述标准部件上该目标区域 存在缺陷时的三维图像； 所述根据 各所述缺陷 图像集和所述标准三维图像， 确定所述标准部件对应的若干目标 区域， 包括： 根据各所述缺陷 图像集分别对应的缺陷区域， 确定所述标准三维图像对应的若干删减 区域； 对所述标准 三维图像中各 所述删减区域进行删除操作， 得到待划分图像； 对所述待划分图像进行划分， 得到若干所述目标区域， 其中， 若干所述目标区域互不重 叠； 所述根据 所述标准三维图像和各所述目标区域， 确定各所述目标区域分别对应的所述 补充图像， 包括： 从各所述缺陷图像集中确定每一所述目标区域对应的目标缺陷图像集， 其中， 每一所 述目标区域的区域中心点与该目标区域对应的所述目标缺陷图像集的缺陷区域的区域中 心点距离最近； 获取每一所述目标区域对应的所述目标缺陷图像集的缺陷形状特 征； 根据每一所述缺陷形状特征对所述标准三维图像进行图像处理， 得到每一所述目标区 域对应的所述补充图像。 2.根据权利要求1所述的基于机器视觉的缺陷检测方法， 其特征在于， 所述方法还包括 对所述补充图像集进行扩增， 扩增方法包括： 将每一所述补充图像输入预先经过训练的图像生成模型， 得到该补充图像对应的扩增 图像； 所述图像生成模型的训练过程包括： 将训练图像输入所述图像生成模型， 得到所述训练图像对应的仿真图像； 将所述仿真图像和所述训练图像输入所述图像生成模型对应的图像判别模型， 得到所 述仿真图像和所述训练图像分别对应的分类结果； 根据所述仿真图像和所述训练图像分别对应的分类结果对所述图像生成模型进行更 新， 判断更新后的所述图像生成模型是否收敛至训练目标， 若否， 继续执行将训练图像输入 所述图像生成模型 的步骤， 直至更新后的所述图像生成模型收敛至所述训练目标， 得到已 训练的所述图像生成模型。 3.一种基于 机器视觉的缺陷检测装置， 其特 征在于， 所述装置包括： 预测模块， 用于获取目标部件对应的三维图像,将所述三维图像输入缺陷检测模型， 得 到所述目标部件对应的缺陷检测结果， 其中， 所述缺陷检测模型预先经过所述目标部件对 应的缺陷数据集训练； 生成模块， 用于获取若干缺陷图像集， 其中， 每一所述缺陷图像集包括若干缺陷三维图 像， 各所述缺陷三维 图像分别基于与所述 目标部件相同类型 的缺陷部件生成， 各所述缺陷 图像集分别对应的缺陷区域 不同； 根据各所述缺陷图像集， 确定补充图像集， 其中， 所述补充图像集包括若干补充图像， 每一所述补充图像对应的缺陷区域与各 所述缺陷图像集分别对应的缺陷区域 不同； 根据各所述缺陷图像集和各 所述补充图像集， 确定所述 缺陷数据集；权　利　要　求　书 2/4 页 3 CN 115018842 B 3