(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210645597.X (22)申请日 2022.06.08 (71)申请人 南京跑码地计算 技术有限公司 地址 210000 江苏省南京市 鼓楼区古平岗4 号B座502-3室 (72)发明人 王国栋　郭晓杰　 (74)专利代理 机构 南京中盟科创知识产权代理 事务所 (特殊普通合伙) 32279 专利代理师 孙丽君 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06T 7/73(2017.01) G06V 10/22(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种锯齿焊 接缺陷精细化检测方法 (57)摘要 本发明公开了一种锯齿焊接缺陷精细化检 测方法， 该方法包括以下步骤： 对锯片进行识别， 获得目标检测矩形边框， 并对目标检测矩形边框 进行修订， 保证锯片的检测完整性； 在目标检测 矩形边框内对锯齿的区域进行标注； 对标注出的 锯齿进行分类， 并根据分类结果订正锯齿刀头方 向； 在订正后的锯齿中框选出焊接区域， 并使用 目标检测算法完成锯齿焊接区域的识别， 同时判 断缺陷类别。 本发明使用目标检测和Canny边缘 检测算法同时对锯片位置进行检测， 并对结果进 行融合， 以确保锯片被正确的切分； 采用了分治 思想， 使用多种技术分别解决检测流程中的不同 问题， 最终该方案可以实现对从24齿到120齿的 锯片焊接缺陷检测。 权利要求书2页 说明书6页 附图1页 CN 114972285 A 2022.08.30 CN 114972285 A 1.一种锯齿焊接缺陷精细化检测方法， 其特 征在于， 该 方法包括以下步骤： S1、 对锯片进行识别， 获得目标检测矩形边框， 并对目标检测矩形边框进行修订， 保证 锯片的检测完整性； S2、 在目标检测矩形边框内对锯齿的区域进行 标注； S3、 对标注出的锯齿 进行分类， 并根据分类结果 订正锯齿刀头方向； S4、 在订正后的锯齿中框选出焊接区域， 并使用目标检测算法完成锯齿焊接区域的识 别， 同时判断缺陷类别。 2.根据权利要求1所述的一种锯齿焊接缺陷精细化检测方法， 其特征在于， 所述S1中对 锯片进行识别， 获得目标检测矩形边框， 并对目标检测矩形边框进 行修订， 保证锯片的检测 完整性还 包括以下步骤： 采用单阶段目标检测算法Retinanet完成锯片的识别， 输出目标检测矩形边框的区域， 并采用Res2Net作为特 征提取的主干网络； 采用边缘检测算法Can ny完成锯片区域的检测， 并计算 边缘的最大外 接矩形的区域； 计算单阶段目标检测算法及边缘检测算法获取的两个区域的交并比， 若 并交比超过设 定的阈值， 则采用边缘检测算法Canny对目标检测矩形边框进行修订， 完成锯片图片的裁 剪。 3.根据权利要求2所述的一种锯齿焊接缺陷精细化检测方法， 其特征在于， 所述若并交 比超过设定的阈值， 则采用边缘检测算法Canny对目标检测矩形边框进行修订时， 设定A表 示Retinanet输出的目标检测矩形边框的区域， B表示Canny计算的边缘的最大外接矩形的 区域， 则交并比表示 为： 若交并比IOU大于设定阈值时， 则修 订目标检测矩形边框的公式为： 式中， (xo1,yo1)、 (xo2,yo2)分别表示区域A的左上和右下点坐标； (xc1,yc1)、 (xc2,yc2)分别 表示区域B的左上和右下点坐标； (x1,y1)、 (x2,y2)分别表示订正后的区域的左上和右下点 坐标。 4.根据权利要求2所述的一种锯齿焊接缺陷精细化检测方法， 其特征在于， 所述采用单 阶段目标检测算法Retinanet完成锯片的识别， 输出目标检测矩形边框的区域， 并采用 Res2Net作为特 征提取的主干网络还 包括以下步骤： 数据准备： 采用labelimg对采集的锯片进行标注， 且将锯片的最大外接矩形进行标注 出， 同时根据标注内容 导出COCO数据集格式的标签； 训练锯片检测模型： 将采集的锯片图片及生成的标签输入至目标检测模型Retinanet 中， 训练锯片分类模型， 且通过Reti nanet输出锯片的目标检测矩形边框的区域A。 5.根据权利要求4所述的一种锯齿焊接缺陷精细化检测方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 114972285 A 2Retinanet的主干网络采用Res2Net 50， 且Res2Net的第0、 1、 2、 3分支特征输入到 FPN网络中， 用于汇聚不同层的特 征， 同时将FPN的输出， 输入到Reti na网络中。 6.根据权利要求2所述的一种锯齿焊接缺陷精细化检测方法， 其特征在于， 所述采用边 缘检测算法Canny完成锯片区域的检测， 并计算边缘的最大外接矩形的区域还包括以下步 骤： 采用边缘检测算法Can ny检测锯片的边 缘； 根据Canny的输出， 采用Opencv中的findContours方法寻找锯片的轮廓， 并根据寻找的 轮廓信息计算 边缘的最大外 接矩形的区域。 7.根据权利要求1所述的一种锯齿焊接缺陷精细化检测方法， 其特征在于， 所述S2中在 目标检测矩形边框内对锯齿的区域进 行标注时， 采用实例分割算法MaskRCNN训练实例分 隔 模型， 并对锯片中每一个 锯齿所在的区域进行识别。 8.根据权利要求7所述的一种锯齿焊接缺陷精细化检测方法， 其特征在于， 所述采用实 例分割算法Mask RCNN训练实例分 隔模型， 并对锯片中每一个锯齿所在的区域进 行识别还包 括以下步骤： 数据准备： 采用labelme在裁剪的锯片图片上绘制多边形， 并将锯片的位置进行标注， 同时根据标注内容 导出COCO数据集格式的标签； 数据预处理： 将裁剪的锯片图片的宽和高分等比例缩放并填充至2592和1944， 且采用 OpenCV的n ormalize方法对图片进行归一 化处理； 训练刀头分割模型： 将导出的COCO数据集格式的标签及缩放后的图片输入到实例分割 网络MaskRCNN中并训练锯片刀头分割模型； 模型输出预处理： 将锯片刀头分割模型输出的掩码矩阵缩放至原图尺寸， 并使用 findContours在掩码矩阵中寻找锯片锯齿的轮廓信息， 同时转换成坐标点的形式进行输 出。 9.根据权利要求8所述的一种锯齿焊接缺陷精细化检测方法， 其特征在于， 所述S3 中对 标注出的锯齿 进行分类， 并根据分类结果 订正锯齿刀头方向还 包括以下步骤： 数据准备： 将分割出的刀头分为八个类别， 并按照imagenet的格式依次存入到不同的 文件夹中； 训练分类模型： 将分类后的样本 输入至ResNet34并训练刀头朝向分类模型 根据分类结果， 将刀头 旋转至同一个方向。 10.根据权利要求9所述的一种锯齿焊接缺陷精细化检测方法， 其特征在于， 所述S4中 在订正后的锯齿中框选出焊接区域， 并使用目标检测 算法完成锯齿焊接区域的识别， 同时 判断缺陷类别还 包括以下步骤： 数据准备： 采用labelme在订正后的锯齿中对焊接位置进行标注， 并根据标注内容导出 COCO数据集格式的标签； 数据预处理： 对样本图片的宽和高进行统计分析， 并将样本集中图片宽、 高的中位数作 为输入尺寸， 并对样本图片进行缩放和填充处 理； 训练目标检测模型： 将数据预处理后的样本图片输入至Retinanet并训练缺陷检测模 型； 根据检测结果， 对锯齿中刀头焊接位置以及所属的缺陷类别进行输出。权　利　要　求　书 2/2 页 3 CN 114972285 A 3