(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659492.1 (22)申请日 2021.12.31 (71)申请人 北京航空航天大 学杭州创新研究院 地址 310000 浙江省杭州市滨江区长河街 道创慧街18号 (72)发明人 胡哲源　刘雪峰　李青锋　牛建伟　 任涛　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 刘文强 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/64(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 机器人抓取方法、 装置、 电子设备及存储介 质 (57)摘要 本发明实施例提供了一种机器人抓取方法、 装置、 电子设备及存储介质， 涉及机器人智 能控 制领域。 首先， 利用安装在机器人上的相机在多 个视角下对目标物体进行拍摄， 获得图像集和每 个视角对应的相机参数； 然后将图像集和相机参 数输入预先训练好的检测模型， 对目标物体的关 键点的三维坐标进行预测， 得到预测结果， 并根 据预测结果和关键点之间的空间几何关系， 计算 得到目标物体的位姿； 最后， 根据目标物体的位 姿和预先训练好的抓取模型， 控制机器人完成目 标物体的抓取。 权利要求书4页 说明书21页 附图9页 CN 114387513 A 2022.04.22 CN 114387513 A 1.一种机器人抓取方法， 其特征在于， 应用于电子设备， 所述电子设备与机器人通信连 接， 所述机器人安装有相机； 所述方法包括： 获取所述相机在多个视角下对目标物体进行拍摄得到的图像集及每个视角对应的相 机参数； 将所述图像集和每个所述相机参数输入检测模型， 利用所述检测模型对所述图像集进 行预测， 得到所述目标物体的第一坐标的预测值， 其中， 所述第一坐标为所述目标物体的关 键点的三维坐标； 根据所述第 一坐标的预测值和所述关键点之间的空间几何关系， 计算得到所述目标物 体的位姿参数， 其中， 所述 位姿参数用于表征 所述目标物体的空间位置及姿态； 根据所述位姿参数和抓取模型， 控制所述机器人完成所述目标物体的抓取， 其中， 所述 抓取模型 是利用强化学习的方式进行训练得到的。 2.如权利要求1所述的方法， 其特征在于， 所述检测模型包括目标检测网络、 二维检测 网络和三维检测网络， 所述图像集包括多个视角对应的图像； 所述将所述图像集和每个所述相机参数输入检测模型， 利用所述检测模型对所述图像 集进行预测， 得到所述目标物体的第一 坐标的预测值的步骤， 包括： 将所述图像集输入所述目标检测网络， 利用所述目标检测网络对所述图像集中的图像 进行剪裁， 得到剪裁后的图像； 将所述剪裁后的图像输入所述二维检测网络， 利用所述二维检测网络对每个剪裁后的 图像进行特征提取， 得到每个图像对应的二 维特征图和每个图像对应的置信度， 其中， 所述 二维特征图用于表征所述目标物体的关键点在所述图像中的二维坐标， 所述置信度用于表 征每个所述图像对应的视角下目标物体的真实度； 将所有所述二维特征图、 所述置信度和所述相机参数输入所述三维检测网络， 将所述 置信度作为权重利用所述三 维检测网络对所有所述二 维特征图进 行处理， 得到所述目标物 体的第一 坐标的预测值。 3.如权利要求2所述的方法， 其特征在于， 所述三维检测网络包括三维映射网络、 三维 卷积网络和损失函数回归 模型； 所述将所有所述二维特征图、 所述置信度和所述相机参数输入所述三维检测网络， 将 所述置信度作为权重利用所述三 维检测网络对所有所述二维特征图进 行处理， 得到所述目 标物体的第一 坐标的预测值的步骤， 包括： 将所有所述二维特征图、 所述置信度和所述相机参数输入所述三维映射网络， 利用反 向投影的方式， 得到所述目标物体的三维特征图， 其中， 所述三 维特征图用于表征所述目标 物体的三维空间信息， 所述三维特征图包括多个通道， 每个所述通道和每个所述 目标物体 的关键点 一一对应； 将所述三维特征图输入所述三维卷积网络， 利用所述三维卷积网络对所述三维特征图 进行特征提取， 得到每 个所述关键点对应的三维特 征图； 将所有所述关键点对应的三维特征图输入所述损失函数回归模型， 利用所述损失函数 回归模型对所有 所述关键点对应的三 维特征图做归一化处理， 得到所述目标物体的第一坐 标的预测值。 4.根据权利要求1所述的方法， 其特征在于， 所述机器人包括夹爪， 所述根据所述位姿权　利　要　求　书 1/4 页 2 CN 114387513 A 2参数和抓取模型， 控制所述机器人完成所述目标物体的抓取的步骤， 包括： 获取t时刻的状态参数， 所述状态参数包括夹爪末端的位姿参数、 所述夹爪末端的速 度， 所述夹爪的开 合状态； 将所述状态参数、 所述目标物体的位姿参数及最大置信度对应的相机参数输入所述抓 取模型， 得到t时刻的动作参数， 所述动作参数包括所述夹爪末端的速度、 所述夹爪的旋转 角及所述夹爪的开 合状态； 控制所述机器人按照所述动作参数运动， 完成t时刻的动作， 并获取t+1时刻的状态参 数； 重复执行将所述状态参数、 所述目标物体的位姿参数及最大置信度对应的相机参数输 入所述抓取模型， 得到t时刻的动作参数的步骤， 直至所述机器人完成所述目标物体的抓 取。 5.根据权利要求1所述的方法， 其特征在于， 所述检测模型是通过以下方式训练得到 的： 获取训练样本及所述训练样本对应的标签， 其中， 所述训练样本包括第一图像和相机 参数， 所述标签表征参 考物体的关键点的三维坐标； 将所述第一图像输入所述目标检测网络， 利用所述目标检测网络对所述第 一图像进行 剪裁， 得到剪裁后的第一图像； 将所述剪裁后的第 一图像输入所述二维检测网络， 利用所述二维检测网络对所述剪裁 后的第一图像进 行特征提取， 得到所述第一图像对应的二维特征图和所述第一图像对应的 置信度； 将所述第一图像对应的二维特征图、 所述第 一图像对应的置信度和所述相机参数输入 所述三维检测网络， 将所述第一图像对应的置信度作为权重利用所述三 维检测网络对所有 所述第一图像对应的二维特征图进行处理， 得到所述参考物体的第二坐标的预测结果， 所 述第二坐标为所述 参考物体的关键点的三维坐标； 基于所述参考物体的第 二坐标的预测结果、 所述标签和预设的损失函数对所述检测模 型进行反向传播训练， 得到训练后的检测模型。 6.如权利要求5所述的方法， 其特 征在于， 所述损失函数为： 其中， α 为所述关键点的二维坐标的损失项的权重， 表示所述二维特征图的损失函 数， 表示所述 三维特征图的损失函数； 所述二维特征图的损失函数为： 其中， Fn,k表示所述 二维特征图的预测值， 表示所述 二维特征图的标记值； 所述三维特征图的损失函数为：权　利　要　求　书 2/4 页 3 CN 114387513 A 3