(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210560549.0 (22)申请日 2022.05.23 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 延建行　文洪涛　彭万里　孙怡　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06T 7/73(2017.01) G06T 17/20(2006.01) G06N 3/08(2006.01) (54)发明名称 基于同类物体形状对应性的五指机械灵巧 手抓取迁移方法 (57)摘要 本发明公开一种基于同类物体形状对应性 的五指机械灵巧手抓取迁移方法， 该方法以同类 物体形状的对应性关系为桥梁， 将 机械灵巧手的 抓取方式从源物 体迁移至同类的目标物体。 本发 明一方面仅需对同类物体中的一个实例进行标 注即可实现对一类物体抓取位姿的估计， 大幅降 低了抓取标注的难度。 另 一方面， 对类内单一实 例物体的抓取标注通过人工即可快速完成， 这也 保证了迁移后的抓取姿态符合人类的抓取操作 习惯。 权利要求书2页 说明书7页 附图2页 CN 114882113 A 2022.08.09 CN 114882113 A 1.基于同类物体形状对应性的五指机械灵巧手抓取迁移方法， 其特征在于， 包括如下 步骤： 步骤1、 数据集预处 理； 数据集由多个物体类别的3D模型数据组成， 每个类别包含不同形状的物体， 并以三角 网格形式存储； 收集到的3D模型数据集被划分为训练集和测试集， 分别用于网络训练和测 试； 对于每个3D模型， 预处理过程包括： 将3D模型渲染为不同视角下的点云； 生成覆盖物体 空间采样点的有向距离场S DF； 步骤2、 搭建类内形状对应性估计网络； 所述的类内形状对应性估计网络包括三个子模块： 形状编码模块、 形状变形模块和形 状重建模块； 所述的形状编码模块将输入的单视角点云编码为形状隐式向量； 所述的形状 变形模块根据形状隐式向量将输入模型的物体空间采样点变形到类内形状模板空间的对 应点， 基于此， 同类不同形状物体之间的形状密集对应性通过类内形状模板 建立起来； 所述 的形状解码模块将 变形后的采样点解码为该点的SDF值， 利用覆盖物体空间采样点及其SDF 值重建物体完整的三维形状； 所述的三个子模块均为全连接网络； 步骤3、 训练步骤2所述的类内形状对应性估计网络； 所述的训练过程分为两步： 第 一步， 联合训练形状变形模块和形状重建模块， 网络的输 入为形状隐式向量和物体空间采样点， 中间输出采样点到模板空间对应点的变形量， 然后 变形后的采样点被输入到形状重 建模块， 最 终输出为原始采样点对应的SDF值； 形状隐式 向 量被随机初始化， 并跟随网络参数一起更新； 第二步， 训练形状编码模块， 模块的输入为3D 模型的单视角点云， 输出为第一 步中训练得到的该3D模型的形状隐式向量； 步骤4、 在源物体上 标注灵巧手的抓取位姿； 对于3D模型数据集中的每个类别， 从训练集中选择一个物体作为源物体， 在该源物体 上人工标注若干个机械灵巧手的抓取位姿， 抓取位姿包括手腕的六自由度位姿及手指关节 的旋转角度； 对于源物体上标注的每一个 抓取位姿gi， 首先通过正向运动学获取灵巧手在gi 下的点云并利用步骤2所述类内形状对应性估计网络计算该点云相对于源物体的SDF值， SDF绝对值小 于设定阈值的点 标记为灵巧手上与物体接触的点集PiC， SDF值大于设定阈值的 点标记为灵巧手上不与物体接触 的点集 同时将源物体上被灵巧手接触 的点集标记为 PiO， 点集PiC和PiO中的每个点是一 一对应的； 步骤5、 将源物体上 标注的抓取位姿迁移至目标物体； 所述的抓取位姿迁移是将步骤4所述源物体上的抓取标注迁移到同类不同形状的其他 物体上， 其输入为深度传感器采集到的所述同类其他物体的单视角点云； 首先， 将输入的单 视角点云经过步骤2所述类内形状对应性估计网络对物体进行重建， 并建立重建物体和源 物体的对应性关系， 在此基础上将源物体上被灵巧手接触的点集迁移到重建的目标物体 上； 然后， 利用可微的灵巧手正向运动学模块和两个目标函数以迭代优化的方法实现抓取 位姿迁移； 所述的可微的灵巧手正向运动学模块和两个目标函数 具体如下： (1)所述的可微的灵巧手正向运动学模块通过输入灵巧手的抓取位姿， 得到灵巧手各 部分在手腕坐标系下的位置； 该模块用于在抓取位姿迁移时将目标函数的梯度进 行反向传权　利　要　求　书 1/2 页 2 CN 114882113 A 2播， 以逐步优化 欠合理的抓取位姿， 描述如下： PiH＝FK(gi,PH) 其中， PH表示初始状态下的灵巧手点云， PiH表示在位姿gi下的灵巧手点云； (2)接触点迁移目标函数Ltransfer定义如下： 其中， QiO是通过源物体和目标物体的形状密集对应性将步骤4所述的PiO迁移到目标物 体获得的， 其中形状密集对应性是由步骤2所述的形状变形模块建立； PiC是步骤4所述的灵 巧手上与物体接触的点集； 点集 和PiC均包含N个点， 和 分别表示 和PiC中的第j个 点； (3)防碰撞目标函数Lcollision定义如下： 其中， 是步骤4所述的灵巧手上不与物体接触的点集 经过正向运动学模块后的位 置； 点集 包含M个点， 表示其中的第j个点； sdf( ·)是指使用步骤2所述类内形状对应 性估计网络求 解输入点对于目标物体的S DF值； 综上， 所述的抓取位姿迁移定义 为如下优化问题： 其中， λtransfer、 λcollision是目标函数的权 重； 在优化过程中， 首先单独使用防碰撞目标函数调整灵巧手手腕的平移分量， 以确保灵 巧手整体处在合理的抓取位置； 然后使用两个目标函数共同调整灵巧手手指关节的旋转角 度， 使手指贴合目标物体表面。权　利　要　求　书 2/2 页 3 CN 114882113 A 3