(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210544046.4 (22)申请日 2022.05.18 (71)申请人 上海海事大学 地址 201306 上海市浦东 新区临港新城 海 港大道15 50号 (72)发明人 张青雷　庄轹文　段建国　周莹　 秦际赟　 (74)专利代理 机构 上海互顺专利代理事务所 (普通合伙) 31332 专利代理师 曹月明 (51)Int.Cl. B25J 9/16(2006.01) G06V 40/20(2022.01) G06V 10/75(2022.01) G06K 9/62(2022.01) (54)发明名称 基于手势识别控制机械臂进行叶片装配的 方法及系统 (57)摘要 本发明涉及工业智能控制的技术领域， 具体 是涉及一种基于手势识别控制机械臂进行叶片 装配的方法及系统， 包括以下步骤： 识别手势信 息， 根据指令数据库对比手势信息包含的指令。 基于根据指令数据库对比手势信息包含的指令， 下达对应的控制指令。 控制深度相机并通过视觉 引导方法确定目标叶片的位置坐标。 根据控制指 令控制机械臂在位置坐标处抓取目标叶片并对 目标叶片进行装配。 该方法和系统将手势识别技 术与智能机械臂控制技术完美结合， 简化机械臂 的操作步骤， 降低机械臂的控制难度， 使机械臂 控制更加精 准灵活， 增强了机械臂对工作环境的 适应能力， 在实现手势动作与机械臂控制完全同 步的基础上满足机械臂完成作业时实时控制的 需要。 权利要求书2页 说明书7页 附图4页 CN 114851200 A 2022.08.05 CN 114851200 A 1.一种基于手势 识别控制机 械臂进行叶片装配的方法， 其特 征在于， 所述方法包括： 识别手势信息， 根据指令数据库对比所述手势信息包 含的指令； 基于所述 根据所述指令数据库对比所述手势信息包 含的指令， 下达对应的控制指令； 控制深度相机并通过视 觉引导方法确定目标叶片的位置坐标； 根据所述控制指令控制机械臂在所述位置坐标处抓取所述目标叶片并对所述目标叶 片进行装配。 2.根据权利要求1所述的方法， 其特征在于， 所述识别手势信息， 根据指令数据库对比 所述手势信息包 含的指令， 之前包括： 建立指令数据库。 3.根据权利要求2所述的方法， 其特 征在于， 所述建立指令数据库， 包括： 预设出不同的指令以对应所述机 械臂不同的动作、 位置以及状态； 控制相机设备获取手势图像； 采集所述手势图像并对所述手势图像进行识别， 得到手势信息； 确定所述手势信息和所述机 械臂不同的动作、 位置以及状态的映射关系。 4.根据权利要求3所述的方法， 其特 征在于， 所述下达对应的控制指令， 包括： 根据所述映射关系调用对应的控制指令 。 5.根据权利要求1所述的方法， 其特征在于， 所述控制 深度相机并通过视觉引导方法确 定目标叶片的位置坐标， 包括： 控制所述深度相机对目标位置进行拍照； 获取所述目标位置的深度图像和彩色图像； 对所述深度图像和彩色图像的数据进行 预处理； 读取所述目标位置的像素坐标； 读取所述像素坐标在所述深度图像与所述彩色图像的深度值， 得到所述目标位置的像 素三维坐标。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述控制 指令控制机械臂在所述 位置坐标处抓取 所述目标叶片并对所述目标叶片进行装配， 包括： 根据所述控制指令控制所述机械臂根据所述像素三维坐标对位于所述目标位置的目 标叶片进行抓取和装配。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述控制 指令控制所述机械臂根 据所述像素三维坐标对位于所述目标位置的目标叶片进行抓取和装配， 包括： 所述机械臂通过机械臂逆运动学求解出来的关节转角确定所述机械臂的目标姿态， 并 经过末端执 行器的运动促使所述机 械臂到达所述目标位置； 所述关节转角根据 所述机械臂关节的变换矩阵、 机械臂的位姿及D ‑H参数求解得到， 并 利用编译的驱动代码实现所述机 械臂到达所述目标位置 。 8.一种基于手势 识别控制机 械臂进行叶片装配的系统， 其特 征在于， 包括： 手势识别模块， 用于识别通过相机设备获取的手势信息， 并调用与所述手势信息相匹 配的控制指令； 视觉模块， 用于对通过深度相机获取的深度图像和彩色图像进行图像预处理， 将预处 理后的图像进行 特征匹配以获取目标叶片的位置坐标；权　利　要　求　书 1/2 页 2 CN 114851200 A 2机械臂控制模块， 用于接收并根据所述手势识别模块发出的控制指令， 控制驱动机械 臂运动， 同时根据所述视觉模块 获取的位置坐标对所述目标叶片进行定位并控制所述机械 臂进行作业。 9.根据权利要求8所述的基于手势识别控制机械臂进行叶片装配的系统， 其特征在于， 所述机械臂控制模块包括夹爪控制模块， 所述夹爪控制模块用于控制所述机械臂夹爪 所述 目标叶片并对所述目标叶片进行装配。权　利　要　求　书 2/2 页 3 CN 114851200 A 3