(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211432680.5 (22)申请日 2022.11.16 (71)申请人 江苏智云天工科技有限公司 地址 213000 江苏省常州市 常州钟楼经济 开发区玉龙南路280号常州 大数据产 业园4号楼2楼201室 (72)发明人 常琪　赵何　张志琦　 (74)专利代理 机构 上海锻创知识产权代理有限 公司 314 48 专利代理师 陈少凌 (51)Int.Cl. G06F 16/58(2019.01) G06F 16/182(2019.01) G06N 5/04(2006.01) G06T 7/00(2017.01) (54)发明名称 基于模型的缺陷检测方法及系统 (57)摘要 本发明提供了一种基于模型的缺陷检测方 法及系统， 包括： 步骤S1： 获取历史产品的缺陷数 据， 建立缺陷检测模型； 步骤S2： 通过缺陷样本产 品对缺陷检测模型进行训练； 步骤S3： 根据训练 后的缺陷检测模 型对待检测产品进行缺陷检测。 本发明通过缺陷检测模型， 加快了工业质检图片 数据集样 本的标注速度， 自动化实现多个不同置 信度下的测试数据集的对比结果的计算， 使 得实 施工程师能够快速综合判断产品的缺陷情况， 提 高了缺陷检测速率。 权利要求书4页 说明书11页 附图2页 CN 115495608 A 2022.12.20 CN 115495608 A 1.一种基于模型的缺陷检测方法， 其特 征在于， 包括： 步骤S1： 获取历史产品的缺陷数据， 建立 缺陷检测模型； 步骤S2： 通过缺陷样本产品对缺陷检测模型进行训练； 步骤S3： 根据训练后的缺陷检测模型对待检测产品进行缺陷检测； 所述步骤S1包括： 对缺陷产品进行分布式推理， 包括参数获取、 测试数据集的分布式加 载、 分布式推理和推理结果的获取， 具体为： 设置推理模型、 批处理大小和图片分辨率， 并对默认参数文件的值进行覆盖， 生成完整 的参数文件， 并将参数文件保存到分布式文件存储S3服务器上， 将参数文件的地址写入容 器的环境变量中， 待容器启动后， 从环境变量获取参数文件在分布式存储系统中的储存地 址， 通过文件地址在代码中读取文件内容， 将文件内容解析并转换为推理所需要的所有参 数； 将存储测试数据集的分布式存储目录挂载到容器所在的每一台服务器上， 在容器启动 后， 加载并解析参数文件， 从解析出的所有参数中获取到测试数据集的存储路径， 并加载分 布式服务器对应路径中的图片； 从解析出的所有参数中获取到模型和测试数据集的存储路径， 从模型存储路径中加载 单机模型， 并将单机模型转换为分布式模型， 从测试数据集的存储路径中加载数据集， 使用 分布式采样器将数据集转换为分布式测试集， 获取到分布式模型和分布式测试集后， 进行 分布式推理； 在参数文件中设置测试数据集推理结果的保存路径， 在推理过程中将每张图片的推理 结果保存到 设置的分布式服务器的路径中， 在后端服务中加载测试数据集存储在分布式服 务器的推理结果， 并提供查询接口， 在 浏览器页面展示每张图片的推理标注信息 。 2.根据权利要求1所述的基于模型的缺陷检测方法， 其特征在于， 所述步骤S1还包括： 对缺陷产品进 行辅助标注， 包括测试数据集的推理、 加载推理结果作为辅助标注结果， 并对 标注结果进行 校对， 具体为： 使用人工标注的训练数据集进行模型首次训练， 将首次训练好的模型保存在分布式存 储服务器中， 将模型存储路径设置到推理参数文件中， 使用模型对扩充的训练数据集进行 推理， 并根据推理参数将推理结果进行保存； 在浏览器页面加载训练数据集的每张图片， 将其推理结果作为辅助标注， 对辅助标注 的每个缺陷进行人工校对， 校对后将推理的辅助标注结果转换为人工标注结果， 生成新的 训练数据集， 进行 下一次的训练。 3.根据权利要求2所述的基于模型的缺陷检测方法， 其特征在于， 所述步骤S2包括： 进 行缺陷模型测试， 包括对测试数据集进行人工标注和模型推理标注， 然后对比测试数据集 中每张图片不同置信度下的人工标注和模型 标注， 汇总对比数据， 具体为： 在浏览器页面对测试数据集的图片进行逐张人工标注， 再次选择相同的测试数据集使 用模型进行分布式推理标注； 对当前数据集的所有图片进行遍历循环， 针对测试集中的每张图片分别获取人工标注 信息和模型标注信息， 以及当前测试 的置信度， 根据置信度剔除不符合预设要求的模型标 注信息； 对于遍历循环中的每张图片， 将 获取到的人工标注信 息和模型标注信 息按照缺陷名称权　利　要　求　书 1/4 页 2 CN 115495608 A 2进行分组， 收集到不同缺陷名称的所有人工标注信息列表和模型 标注信息列表； 将分组后的缺陷的人工标注信 息和模型标注信 息进行循环对比， 单种缺陷分组后包括 如下情况： a： 当前缺陷的人工标注框的数量和模型标注框的数量都为0， 则判定当前图片没有当 前种类缺陷， 结果 为过杀数量和漏失数量都等于 0； b： 当前缺陷的人工标注框的数量数为0但模型标注框的数量不为0， 此时模型对于当前 图片的当前种类缺陷出现过杀现象， 结果为过杀数量等于模型标注框的数量， 漏失数量等 于0； c： 当前缺陷的人工标注框的数量数不为0但模型标注框的数量为0， 此时模型对于当前 图片的当前种类缺陷出现漏失现象， 结果为过杀数量等于0， 漏失数量等于人工标注框的数 量； d： 当前缺陷的人工标注框的数量数和模型标注框的数量都不为0， 首先将当前图片的 当前缺陷的人工标注框全部 打上漏失框标签， 然后 将当前图片的当前缺陷的模型标注框全 部打上过杀框标签， 接着 循环遍历人工标注框列 表， 计算当前人工标注框的面积， 同时循环 遍历模型标注框列表， 计算模型标注框的面积， 判断当前人工标注框和模型标注框的重叠 度IOU是否大于0， 若大于0， 则将当前人工标注框的漏 失标签去掉， 将当前模型标注框的过 杀标签去掉， 在循环完成后， 统计结果为过杀数量等于存在过杀标签的模型标注框的数量， 漏失数量 等于存在漏失标签的人工标注框的数量； 在当前置信度下， 对所有缺陷进行循环对比， 获取到当前数据集在当前置信度下的所 有种类缺陷的漏失标注数量和过杀标注数量， 获取当前数据集在所有设置的置信度下的所 有缺陷的漏失标注数量和过 杀标注数量， 汇总对比数据。 4.根据权利要求3所述的基于模型的缺陷检测方法， 其特征在于， 模型测试还包括对图 片分类测试、 初始 化统计结果对象、 获取标注信息、 更新结果对象中的混淆矩阵和计算统计 值； 所述初始化统计结果对象包括： 初始化保存统计结果的混淆矩阵、 标签映射关系以及 图片类别数量； 所述获取标注信 息包括： 加载所要测试的数据集， 对数据集进行循环遍历， 针对数据集 中的每一张图片， 分别获取到当前图片的人工标注信息和模型 标注信息； 所述更新结果对象中的混淆矩阵包括： 分别人工标注标签和模型标注标签在标签映射 关系中对应的值， 根据人工标注映射值和模型标注映射值组成一个 （x， y） 坐标， 即 （人工标 注映射值， 模型标注映射 值） ， 将此坐标 更新到混淆矩阵中； 所述计算统计值包括： 通过准确率、 召回率和精确率对测试集预测正确的比例进行统 计。 5.一种基于模型的缺陷检测系统， 其特 征在于， 包括： 模块M1： 获取历史产品的缺陷数据， 建立 缺陷检测模型； 模块M2： 通过缺陷样本产品对缺陷检测模型进行训练； 模块M3： 根据训练后的缺陷检测模型对待检测产品进行缺陷检测； 所述模块M1包括： 对缺陷产品进行分布式推理， 包括参数获取、 测试数据集的分布式加 载、 分布式推理和推理结果的获取， 具体为：权　利　要　求　书 2/4 页 3 CN 115495608 A 3