(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210454190.9 (22)申请日 2022.04.27 (71)申请人 天津新松机 器人自动化有限公司 地址 300000 天津市滨 海新区空港经济区 纬七道60号-研发车间1楼C区 申请人 中国科学院沈阳自动化研究所 (72)发明人 李朋超　徐方　王金涛　郭海冰　 朱维金　刘瑶琦　 (74)专利代理 机构 沈阳科苑专利商标代理有限 公司 210 02 专利代理师 王倩 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/33(2017.01) G06T 1/00(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) B25J 9/16(2006.01) B25J 9/08(2006.01) B25J 15/08(2006.01) (54)发明名称 一种面向遮挡、 杂乱场景下的机器人抓取检 测方法及系统 (57)摘要 本发明属于机器视觉、 机器人应用、 人工智 能领域， 具体说是一种面向遮挡、 杂乱场景下的 机器人抓取检测方法及系统， 包括以下步骤： 采 集目标场景下目标工件不同位姿下彩色图及深 度图； 对彩色图训练获取检测训练模型； 并制作 点云模板库； 采集各个目标工件的彩色图及深度 图， 并将彩色图输入至检测训练模型中， 得到彩 色图中各个目标工件的位置和类别； 并获取各个 目标工件被采集到的表面点云； 同时与工件点云 模板库进行点云配准， 获取各个目标工件的当前 位姿； 根据工件点云模板库结合深度相机外参及 获取的各个目标工件的当前位姿， 采用无序抓取 策略抓取。 本发 明在给神经网络输入的训练集足 够多的情况下， 深度学习网络识别算法具有较高 的准确率。 权利要求书2页 说明书6页 附图3页 CN 114882109 A 2022.08.09 CN 114882109 A 1.一种面向遮挡 、 杂乱场景 下的机器人抓取检测方法， 其特 征在于， 包括以下步骤： 1)对于每个目标工件： 通过深度相机对目标工件进行拍照， 采集目标场景下目标工件 不同位姿下彩色图以及与彩色图对应的深度图； 2)对彩色图进行训练 处理， 获取检测训练模型H； 并制作目标工件的点云模板库； 3)通过深度相机采集目标场景下包含各个目标工件的彩色图以及与彩色图对应的深 度图， 并将目标工件彩色图输入至检测训练模型H中， 得到彩色图中各个目标工件的位置和 类别； 4)根据目标工件的彩色图的位置对应到深度图上， 利用相机内参， 得到各个目标工件 被采集到的表面 点云Oi， 其中， i表示 i个目标工件； 5)将各个目标工件被采集到的表面点云Oi与工件点云模板库进行点云配准， 获取各个 检测目标工件的当前位姿Si； 6)根据工件点云模板库结合深度相机外参以及获取的各个检测目标工件的当前位姿 Si， 采用无序抓取 策略抓取实现目标工件的抓取。 2.根据权利要求1所述的一种面向遮挡、 杂乱场景下的机器人抓取检测方法， 其特征在 于， 所述步骤2)， 包括以下步骤： 2‑1)对每个目标工件的彩色图进行标注， 标注出目标工件的轮廓信息及工件类别， 生 成掩模图； 2‑2)将掩模图中工件类别发送至 工件点云模板库； 2‑3)根据掩模图中的轮廓信息， 获取每个彩色图中目标工件所占据的像素位置， 并生 成数据集， 将彩色图中包含目标工件所占据像素位置的数据集进行数据集增强处理， 扩充 数据集； 2‑4)将扩充后的数据集输入至深度神经网络进行训练， 得到检测训练模型H； 2‑5)根据每个目标工件的深度图的工件三维结构， 通过三位绘图软件制作工件点云模 板库。 3.根据权利要求2所述的一种面向遮挡、 杂乱场景下的机器人抓取检测方法， 其特征在 于， 步骤2 ‑3)中， 所述数据集增强处 理， 包括： 对获得的数据集依次采用旋转、 添加噪声、 模拟光照方式处 理扩充数据集； 所述旋转， 对彩色图进行设定角度的旋转； 所述模拟光照， 即改变彩色图的对比度、 饱和度。 4.根据权利要求1所述的一种面向遮挡、 杂乱场景下的机器人抓取检测方法， 其特征在 于， 所述检测训练模型H为MaskRCN N深度学习模型。 5.根据权利要求1所述的一种面向遮挡、 杂乱场景下的机器人抓取检测方法， 其特征在 于， 所述步骤5)具体为： 通过迭代最近点法对各个目标工件被采集到表面点云Oi进行配准； 根据目标工件的类 别， 从工件点云模板库中挑选出其目标工件完整的点云模板， 让点云Oi与工件点云模板库 进行配准， 依次得到各个 检测目标工件的当前位姿Si。 6.根据权利要求1所述的一种面向遮挡、 杂乱场景下的机器人抓取检测方法， 其特征在 于， 步骤6)中， 所述采用无序抓取 策略抓取实现目标工件的抓取， 包括以下步骤： 6‑1)计算各个目标工件在此位姿Si时， 在相机 下的表面点 云及其无遮挡时的物 体点云：权　利　要　求　书 1/2 页 2 CN 114882109 A 2结合工件点云模板库、 相机外参以及实际工件当前位姿Si， 通过相机仿真渲染， 得到此相机 视角下目标工件在位姿Si情况下未遮挡的单视角点云Ti； 6‑2)依次获取各个目标工件无遮挡下的单视角点云Ti的表面积SATi， 同时依次获取实 际场景下的各个目标工件点云 Oi的表面SAOi； 其中， i表示第i个目标工件； 2)将获取的实际场景下各个目标工件的点云Oi的表面积SAOi、 和其无遮挡下的单视角 点云Ti的表面积SATi一一对应， 获取目标工件未被遮盖率， 即： 其中， i表示第i个目标工件， SAIOUi为实际场 景中工件的点云表面积与模板库中该工件 完整的点云表面积之比， 即目标工件未被遮盖率； 3)比较对所有目标工件的未被遮盖率SAIOUi， 设置遮挡是否影响抓取的指标的阈值σ， 其 中， σ 的值 根据实际情况设定； 4)SAIOUi大于σ 则满足抓取要求， σ 范围为0到1， 越接近1表示被遮挡表面越小， 反之视为 被遮挡； 5)在所有满足SAIOUi大于σ 的目标工件中， 比较 各个目标工件的质心， 优先抓取质心位置 最高的目标工件。 7.根据权利要求1所述的一种面向遮挡、 杂乱场景下的机器人抓取检测方法的检测系 统， 其特征在于， 包括： 图像获取模块， 用于获取深度相机对每个目标工件扫描得到的目标场景下目标工件不 同位姿下彩色图以及与彩色图对应的深度图、 以及深度相机对待检测包含 各个目标工件的 彩色图以及与彩色图对应的深度图， 并发送至模型构建模块； 图像处理模块， 用于对获取目标工件的彩色图进行标注， 标注出目标工件的轮廓信息 及工件类别， 生成掩 模图； 模型训练模块， 用于根据掩模图中的轮廓信息， 获取彩色图中目标工件所占据的像素 位置， 并生成数据集， 将包含目标工件 所占据的像素位置的数据集进 行数据集增强处理， 扩 充数据集， 将扩充后的数据集输入至深度神经网络进行训练， 得到检测训练模型H； 工件点云模板库， 用于根据掩模图中工件类别以及各个目标工件的深度图的三位结构 建立每个目标工件的工件 模板； 点云配准模块， 用于根据目标工件的类别， 从工件点云模板库中挑选出其待检测目标 工件的点云模板， 并通过迭代最近点法与工件点云模板库进行配准， 依 次得到各个检测目 标工件的当前位姿Si； 目标工件抓取模块， 用于根据工件点云模板库 结合深度相机外参以及获取的各个检测 目标工件的当前位姿Si， 采用无序抓取 策略抓取实现目标工件的抓取。权　利　要　求　书 2/2 页 3 CN 114882109 A 3