(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211002952.8 (22)申请日 2022.08.19 (71)申请人 梅卡曼德 （上海） 机 器人科技有限公 司 地址 201802 上海市嘉定区南翔镇翔江公 路485号5幢1层 (72)发明人 范兴安　张猛飞　付翱　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 杨杰　刘芳 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 钢捆标牌焊 接方法、 装置、 设备及存 储介质 (57)摘要 本申请提供一种钢捆标牌焊接方法、 装置、 设备及存储介质， 涉及计算机技术领域， 该钢捆 标牌焊接方法包括： 获取目标钢捆的端面的二维 图像和三维点云； 获取目标钢捆包含的单根钢筋 的二维掩膜图像； 基于二维掩膜图像和三维点 云， 获取单根钢筋对应的端面点云； 基于三维点 云、 单根钢筋对应的端面点云以及待焊接在端面 的标牌信息， 确定目标焊接点， 目标焊接点为焊 接位置。 本申请能够更加灵活准确地确定标牌焊 接点， 从而使得焊接的标牌能够更好地满足焊接 要求。 权利要求书2页 说明书11页 附图8页 CN 115330738 A 2022.11.11 CN 115330738 A 1.一种钢捆标牌焊接方法， 其特 征在于， 包括： 获取目标钢捆的端面的二维图像和三维点云； 获取所述目标钢捆包 含的单根钢筋的二维掩膜图像； 基于所述 二维掩膜图像和所述 三维点云， 获取 所述单根钢筋对应的端面 点云； 基于所述三维点云、 所述单根钢筋对应的端面点云以及待焊接在所述端面的标牌信 息， 确定目标焊接点， 所述目标焊接点 为焊接位置 。 2.根据权利要求1所述的钢捆标牌焊接方法， 其特征在于， 所述标牌信 息包括标牌大小 和所述标牌的焊接位置相对于所述标牌的位置信息， 所述基于所述三维点云、 所述单根钢 筋对应的端面 点云以及待焊接在所述端面的标牌信息， 确定目标焊接点， 包括： 根据所述 三维点云、 所述标牌大小和所述 位置信息， 确定所述目标焊接区域； 根据所述单根钢筋对应的端面 点云， 确定所述目标焊接区域中的目标钢筋； 将所述目标钢筋的中心点确定为所述目标焊接点。 3.根据权利要求2所述的钢捆标牌焊接方法， 其特征在于， 所述根据所述三维点云、 所 述标牌大小和所述 位置信息， 确定所述目标焊接区域， 包括： 根据所述 三维点云， 获取 所述目标钢捆的端面轮廓； 根据所述标牌大小和所述目标钢捆的端面轮廓， 确定标牌在所述目标钢捆的端面上的 固定区域； 根据所述 位置信息和所述固定区域， 确定所述目标焊接区域。 4.根据权利要求2所述的钢捆标牌焊接方法， 其特征在于， 所述根据所述三维点云、 所 述标牌大小和所述 位置信息， 确定所述目标焊接区域， 包括： 根据所述 三维点云， 获取 所述目标钢捆的端面轮廓的中心位姿； 根据所述中心位姿、 所述标牌大小以及所述位置信息， 确定所述目标焊接区域的中心 位置； 根据所述中心位置和预设焊接范围， 确定所述目标焊接区域。 5.根据权利要求2所述的钢捆标牌焊接方法， 其特征在于， 所述根据所述单根钢筋对应 的端面点云， 确定所述目标焊接区域中的目标钢筋， 包括： 根据所述单根钢筋对应的端面 点云， 确定所述目标焊接区域中的钢筋的端面形态； 基于所述端面形态， 将端部相对于相邻钢筋凸出的钢筋确定为所述目标钢筋。 6.根据权利要求1所述的钢捆标牌焊接方法， 其特征在于， 所述获取所述目标钢捆包含 的单根钢筋的二维掩膜图像， 包括： 将所述二维图像输入目标检测模型进行目标检测， 获取所述目标钢捆包含的单根钢筋 的二维掩膜图像。 7.根据权利要求6所述的钢捆标牌焊接方法， 其特征在于， 所述目标检测模型是通过以 下方式获得的： 获取样本 图像， 所述样本 图像包含钢捆端面以及所述钢捆端面的标注信息， 所述标注 信息用于确定所述钢捆中单根钢筋的掩膜； 将所述样本 图像输入初始目标检测模型进行拟合处理， 得到损 失函数值， 所述拟合处 理用于拟合出 所述单根钢筋的掩膜； 根据所述损 失函数值， 调整所述初始目标检测模型的参数， 迭代训练初始目标检测模权　利　要　求　书 1/2 页 2 CN 115330738 A 2型， 直至计算得到的损失函数值满足预设评估条件， 得到所述目标检测模型。 8.根据权利要求1至7中任一项所述的钢捆标牌焊接方法， 其特征在于， 所述获取所述 目标钢捆包 含的单根钢筋的二维掩膜图像之后， 还 包括： 根据所述目标钢捆包含的单根钢筋的二维掩膜图像， 得到所述目标钢捆包含的钢筋数 量。 9.根据权利要求1至7中任一项所述的钢捆标牌焊接方法， 其特 征在于， 还 包括： 获取在所述目标焊接点焊接 了所述标牌的钢捆的端面的目标二维图像； 将所述目标二维图像输入复检模型， 得到复检结果； 若所述复检结果为没有标牌， 则执行所述获取目标钢捆的端面的二维图像和三维点云 的步骤。 10.根据权利要求9所述的钢捆标牌焊接方法， 其特征在于， 所述复检模型是通过以下 方式获得的： 获取样本图像， 所述样本图像包含钢捆端面以及所述钢捆端面是否焊接有标牌的标注 信息， 将所述样本图像按比例分成训练集和验证集； 将所述训练集输入初始复检模型中进行训练， 并通过初始复检模型的损失函数得到损 失函数值， 在损失函数值满足预设评估条件时， 停止训练； 将所述验证集输入经训练的初始复检模型中， 输出带有标注信息的样本 图像， 将所述 带有标注信息的样本图像的标注信息与所述验证集中相应样本图像的标注信息进 行比较， 在准确率高于阈值时， 完成对所述复检模型的训练。 11.一种钢捆标牌焊接装置， 其特 征在于， 包括： 第一获取模块， 用于获取目标钢捆的端面的二维图像和三维点云； 第二获取模块， 用于获取 所述目标钢捆包 含的单根钢筋的二维掩膜图像； 第三获取模块， 用于基于所述二维掩膜图像和所述三维点云， 获取所述单根钢筋对应 的端面点云； 确定模块， 用于基于所述三维点云、 所述单根钢筋对应的端面点云 以及待焊接在所述 端面的标牌信息， 确定目标焊接点， 所述目标焊接点 为焊接位置 。 12.一种电子设备， 其特 征在于， 包括： 处 理器， 以及与所述处 理器通信连接的存 储器； 所述存储器存储计算机执 行指令； 所述处理器执行所述存储器存储的计算机执行指令， 以实现如权利要求1至10中任一 项所述的钢捆标牌焊接方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 程序指令， 所述计算机程序指 令被处理器执行时， 实现如权利要求 1至10中任一项 所述的钢 捆标牌焊接方法。权　利　要　求　书 2/2 页 3 CN 115330738 A 3