(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210851072.1 (22)申请日 2022.07.20 (65)同一申请的已公布的文献号 申请公布号 CN 115082559 A (43)申请公布日 2022.09.20 (73)专利权人 广东工业大 学 地址 510050 广东省广州市越秀区东 风东 路729号 (72)发明人 邓耀华　孙成　陈冠浩　胡明雪　 (74)专利代理 机构 佛山粤进知识产权代理事务 所(普通合伙) 44463 专利代理师 耿鹏 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/33(2017.01)G06V 10/26(2022.01) G06V 10/774(2022.01) B07C 5/36(2006.01) (56)对比文件 US 11200429 B1,2021.12.14 CN 113450408 A,2021.09.28 刘夏丽等.“智能视觉数控切割 系统”. 《自动 化与信息 工程》 .2020,第41卷(第4期), 审查员 于芝枝 (54)发明名称 一种柔性件的多目标智能分拣方法、 系统及 存储介质 (57)摘要 本发明公开的一种柔性件的多目标智能分 拣方法、 系统及存储介质， 包括： 获取料框中多个 镍片分布的RGB图像和深度图像， 将RGB图像输入 到训练好的实例分割模型， 经实例分割模型后输 出目标镍片的掩膜图像； 将输出的目标掩膜图像 与深度图像对齐处理后分割深度图中的目标镍 片， 并通过相机标定参数生成目标镍片点云； 将 目标镍片点云与模型镍片点云进行配准获取目 标镍片在料框中的空间位姿信息， 将目标镍片在 料框中的空间位姿信息发送给控制器引导机械 手到指定位置吸取镍片； 吸取镍片后机械手移动 到工业相机处进行变形检测和二次精定位， 根据 变形检测和二次精定位结果完成分拣及装配过 程。 本发明提高了镍片分拣的效率和准确率， 进 一步保证了锂电池成品质量。 权利要求书3页 说明书8页 附图3页 CN 115082559 B 2022.11.01 CN 115082559 B 1.一种柔 性件的多目标智能分拣方法， 其特 征在于， 包括以下步骤： 通过三维相机获取料框中多个镍片分布的RGB图像和 深度图像， 将RGB图像输入到训练 好的实例分割模型， 经实例分割模型后输出目标镍片的掩膜图像； 将输出的目标掩膜图像与深度图像对齐处理后， 分割深度图像中的目标镍片， 根据得 到的目标镍片深度图像通过相机标定参数生成目标镍片点云； 将目标镍片点云与模型镍片点云进行配准获取目标镍片在料框中的空间位姿信 息， 将 目标镍片在料框中的空间位姿信息发送给控制器引导机 械手到指定位置吸取镍片； 吸取镍片后机械手移动到工业相机处进行变形检测和二 次精定位， 根据变形检测和二 次精定位结果完成分拣及装配过程； 通过实例分割模型输出目标镍片的掩 模图像， 具体为： 根据预设镍片标签定义策略对多目标镍片零件图像进行标签化定义， 所述标签分为正 面及反面； 另外， 根据镍片被遮挡的情况进行正样本及负样本的划分， 在镍片标签确定后， 根据标 签化数据生成训练数据集， 基于Mask  R‑CNN构建实例分割模型， 使用训练数据集对所述实 例分割模型进行初始化训练； 通过训练完成后的实例分割 模型对输入图像中的镍片进行正反识别， 并对符合标签定 义策略的镍片计算置信度分数， 将置信度分数最高镍片进行掩膜输出； 吸取镍片后机械手移动到工业相机处进行变形检测和二 次精定位， 根据变形检测和二 次精定位结果完成分拣及装配过程， 具体为： 通过工业二维相机获取目标镍片形变检测图像， 将所述目标镍片形变检测图像进行图 像预处理， 所述预处 理包括图像灰度化， 阈值分割， 感兴趣区域截取； 通过分析装配要求， 确定镍片变形检测关键特征， 所述镍片变形检测关键特征包括基 准定位孔、 定位边和镍片外形轮廓圆弧； 通过Canny算法进行边缘检测， 并引入亚像素边缘定位技术， 实现轮廓边缘的精检测及 精定位， 再使用最小二乘法拟合特 征轮廓边 缘， 计算镍片形变关键特 征之间的尺寸信息； 判断所述尺寸信息是否处于预设尺寸阈值范围内， 若处于， 则判定目标镍片不符合装 配要求， 若不处于， 则根据精定位的位置信息装配至指定位置； 在机械手吸取目标镍片后， 如果镍片是反面， 需要移至换向装置进行换面操作， 然后移 至工业二维相 机处进行变形检测和精定位； 如果镍片是正面， 则直接移至二维相 机处进行 变形检测 和精定位。 2.根据权利要求1所述的一种柔性件的多目标智能分拣方法， 其特征在于， 获取目标镍 片在三维空间中的位姿信息， 具体为： 获取目标镍片掩膜图像， 将所述掩膜图像和所述深度图像对齐， 将掩膜图像中的像素 位置信息映射到深度图像， 在深度图像中分割 出目标镍片的像素信息， 根据三维相 机的标 定参数将分割后的深度图像生成目标镍片点云； 利用镍片的三维模型生成点云， 通过点云处理、 配准算法进行点云配准， 估计目标镍片 的位姿， 获取目标镍片点云和模型镍片点云之间的刚性变换矩阵； 根据手眼标定参数， 将所述刚性变换矩阵转换为实 际的控制信息， 控制机械手至对应 位置吸取镍片。权　利　要　求　书 1/3 页 2 CN 115082559 B 23.一种柔性件的多目标智能分拣系统， 其特征在于， 该系统主要包括： 存储器、 处理器、 实例分割多目标镍片零件识别定位模块、 镍片位姿估计模块及镍片变形检测模块， 所述存 储器及处 理器中存 储并执行一种柔 性件的多目标智能分拣方法程序； 通过三维相机获取料框中多个镍片分布的RGB图像和 深度图像， 将RGB图像输入实例分 割多目标镍片零件识别定位模块进行镍片正反面识别定位， 输出目标镍片的掩膜图像； 通过镍片位姿估计模块生成 目标镍片点云， 将目标镍片点云与模型镍片点云进行配准 获取目标镍片在料框中的空间位姿信息； 通过镍片变形检测模块进行变形检测和二 次精定位， 根据变形检测和二 次精定位结果 完成分拣及装配过程； 所述实例分割多目标镍片零件识别定位模块， 具体为： 所述实例分割多目标镍片零件识别定位模块主要由实例分割模型部分及镍片标签定 义策略部分组成； 所述实例分割模型部分基于Mask  R‑CNN构建， 对输入图像中的镍片进行正反识别， 并 对符合标签定义策略的镍片计算置信度分数， 将置信度分数最高镍片进行掩膜输出； 所述镍片标签定义策略部分对多目标镍片零件图像进行标签化定义， 所述标签分为正 面及反面； 根据镍片 被遮挡的情况进 行正样本及负样本的划分， 在镍片标签确定后， 根据标 签化数据生成训练数据集， 通过 所述训练数据集对实例分割模型进行训练； 所述镍片变形检测模块， 具体为： 所述镍片变形检测模块由镍片变形评估标准部分、 图像预处理部分及关键特征提取变 形检测部分组成； 通过工业二维相机获取目标镍片形变检测图像， 通过图像预处理部分将目标镍片形变 检测图像进行图像预处 理， 所述预处 理包括图像灰度化， 阈值分割， 感兴趣区域截取； 所述镍片变形评估标准部分通过分析装配要求， 确定镍片变形检测关键特征， 所述镍 片变形检测关键特 征包括基准定位 孔、 定位边和镍片外形轮廓圆弧； 所述关键特征提取变形检测部分通过Canny算法进行边缘检测， 并引入亚像素边缘定 位技术， 实现轮廓边缘的精检测及精定位， 再使用最小二乘法拟合特征轮廓边缘， 计算镍片 形变关键特 征之间的尺寸信息检测零件是否变形。 4.根据权利要求3所述的一种柔性件的多目标智能分拣系统， 其特征在于， 所述镍片位 姿估计模块， 具体为： 所述镍片位姿估计模块由目标镍片点云生成部分、 模型镍片点云生成部分及点云配准 位姿估计部分； 所述目标镍片点云生成部分获取目标镍片掩膜图像， 将掩膜图像和深度图像对齐， 将 掩膜图像中的信息映射到深度图像， 在深度图像中分割 出目标镍片， 根据三维相 机的标定 参数将分割后的深度图像生成目标镍片点云； 所述模型镍片点云生成部分利用镍片的三维模型生成点云； 所述点云配准位姿估计部分通过点云处理、 配准算法进行点云配准， 估计目标镍片的 位姿， 获取目标镍片点云和模型镍片点云之间的刚性变换矩阵。 5.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中包括一种柔性 件的多目标智能分拣方法程序， 所述一种柔性件的多目标智能分拣方法程序被处理器执行权　利　要　求　书 2/3 页 3 CN 115082559 B 3