(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210886307.0 (22)申请日 2022.07.26 (71)申请人 清华大学深圳国际研究生院 地址 518055 广东省深圳市南 山区西丽 街 道深圳大 学城清华校区A栋二楼 (72)发明人 梁斌　王学谦　黎泳乐　夏崇坤　 朱晓俊　 (74)专利代理 机构 深圳新创友知识产权代理有 限公司 4 4223 专利代理师 江耀锋 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 含有工具的机 械臂控制系统及方法 (57)摘要 本发明公开一种含有工具的机械臂控制系 统及方法， 该系统包括： 感知层、 决策层和执行 层； 感知层包括图像采集模块和工具识别模块， 通过图像采集模块采集RGB图像和深度图像， 通 过工具识别模块识别工具的用途和估计工具的 长度； 决策层包括末端位置确定模块和接触点评 估模块， 通过末端位置确定模块获取工具的末端 位置， 通过接触点评估模块评估工具与目标物体 之间的最优接触点； 执行层包括关节角度预测模 块和机械臂运动模块， 通过关节角度预测模块对 机械臂下一步的关节角度变化进行预测， 通过机 械臂运动模块根据预测的下一步的关节角度控 制机械臂的关节旋转， 驱动机械臂进行运动。 本 发明能在不改变机械臂结构的情况下完成更多 超出工作范围的任务。 权利要求书2页 说明书10页 附图10页 CN 115229791 A 2022.10.25 CN 115229791 A 1.一种含有工具的机 械臂控制系统， 其特 征在于， 包括： 感知 层、 决策层和执 行层； 所述感知层包括图像采集模块和工具识别模块， 在感知层中通过图像采集模块采集 RGB图像和深度图像， 通过工具识别模块识别工具的用途和估计工具的长度； 所述决策层包括末端位置确定模块和接触点评估模块， 在决策层中通过末端位置确定 模块获取机械臂握持工具时工具的末端位置， 通过接触点评估模块评估工具与目标物体之 间的最优接触点； 所述执行层包括关节角度预测模块和机械臂运动模块， 在执行层中通过关节角度 预测 模块基于循环神经网络对机械臂下一步的关节角度变化进 行预测， 通过机械臂 运动模块根 据预测的下一 步的关节角度控制机 械臂的关节旋转， 驱动机 械臂进行运动。 2.如权利要求1所述的含有工具的机械臂控制系统， 其特征在于， 所述图像采集模块包 括第一RGB ‑D相机和第二RGB ‑D相机， 所述第一RGB ‑D相机安装于机械臂腕部， 用于在 使用工 具前采集待选工具的RGB图像与深度图像， 所述第二RGB ‑D相机安装于工作区域上方， 用于 实时获取机 械臂使用工具 过程中的RGB图像和深度图像。 3.如权利要求2所述的含有工具的机械臂控制系统， 其特征在于， 所述工具识别模块通 过目标检测网络对采集的待选工具的RGB图像进行预测， 输出得到工具和参照物在图像中 的边界框以及工具类型 的置信度， 将最高的置信度判断为工具 的类型； 利用开源计算机视 觉库对目标检测网络识别获得的工具和参照物进 行轮廓绘制， 通过像素比率计算方法得到 工具的长度。 4.如权利要求1所述的含有工具的机械臂控制系统， 其特征在于， 所述末端位置确定模 块根据工具的长度和机械臂的D ‑H参数， 将机械臂和工具作为机械臂 ‑工具组合体， 通过齐 次变换矩阵获取机 械臂‑工具组合体的末端位置 。 5.如权利要求4所述的含有工具的机械臂控制系统， 其特征在于， 所述机械臂 ‑工具组 合体的末端位置的计算公式为： Pxyz＝f(TD‑H,LG,LT) 其中， Pxyz表示机械臂 ‑工具组合体的末端位置， TD‑H表示机械臂的D ‑H参数表， LG表示机 械臂末端位置与夹爪器中心之间的距离， LT表示夹爪器中心与当前工具末端之间的距离 。 6.如权利要求2所述的含有工具的机械臂控制系统， 其特征在于， 所述接触点评估模块 通过语义分割网络将实时获取 的机械臂使用工具过程中的RGB图像输出为分割图， 将分割 图输入到接触点生成网络中， 接触点生成网络预测出物体轮廓上的多个候选接触点和接触 力方向， 然后把 RGB图像和多个候选接触点的信息输入接触点评估网络， 输出一个最优接触 点的位置和对应的接触力方向。 7.如权利要求6所述的含有工具的机械臂控制系统， 其特征在于， 所述关节角度 预测模 块通过变分自编 码器将实时获取的机械臂使用工具过程中的RGB图像输出为压缩后的潜在 空间表征， 将接触点评估模块输出 的最优接触点信息、 潜在空间表征以及机械臂上一步的 关节角度输入多时间循环神经网络， 然后预测出机 械臂下一 步的关节角度。 8.一种含有工具的机 械臂控制方法， 其特 征在于， 包括以下步骤： S1、 采集工具和当前工作区域的RGB图像和深度图像； S2、 根据采集的RGB图像和深度图像， 提取工具的特 征， 得到工具的长度和工具的类型； S3、 采集工作区域的实时图像；权　利　要　求　书 1/2 页 2 CN 115229791 A 2S4、 根据机 械臂握持工具的姿势和工具的长度， 获取机 械臂‑工具组合体的末端位置； S5、 根据工作 区域的实时图像， 提取物体对象的特征， 结合物体需要到达的目标位置， 评估得到 工具与物体对象的最优接触点的信息； S6、 在机械臂运动过程中实时采集当前图像和机械臂上一步的关节角度， 根据当前图 像、 机械臂上一 步的关节角度和最优接触点信息， 得到下一 步的关节角度； S7、 根据预测的下一 步的关节角度控制机 械臂的关节旋转， 驱动机 械臂进行运动。 9.如权利要求8所述的含有工具的机械臂控制方法， 其特征在于， 步骤S2具体包括： 通 过目标检测网络对采集的待选工具的RGB图像进行预测， 输出得到工具和参照物在图像中 的边界框以及工具类型 的置信度， 将最高的置信度判断为工具 的类型； 利用开源计算机视 觉库对目标检测网络识别获得的工具和参照物进 行轮廓绘制， 通过像素比率计算方法得到 工具的长度。 10.如权利要求8所述的含有工具的机械臂控制方法， 其特征在于， 步骤S5具体包括： 通 过语义分割网络将工作区域的实时图像输出为分割图， 将分割图输入到接触点生成网络 中， 接触点生成网络预测出物体轮廓上 的多个候选接触点和接触力方向， 然后把工作区域 的实时图像和多个候选接触点的信息输入接触点评估网络， 输出一个最优接触点的位置和 对应的接触力方向。权　利　要　求　书 2/2 页 3 CN 115229791 A 3