(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210602409.5 (22)申请日 2022.05.30 (71)申请人 北京航空航天大 学杭州创新研究院 地址 310052 浙江省杭州市滨江区长河街 道创慧街18号 (72)发明人 于晓龙　韩冰　任涛　杨帆　 侯人鸾　牛建伟　于丹丹　 (74)专利代理 机构 北京国坤专利代理事务所 (普通合伙) 11491 专利代理师 赵红霞 (51)Int.Cl. B25J 19/04(2006.01) B25J 13/00(2006.01) B25J 13/08(2006.01) B25J 9/16(2006.01) (54)发明名称 一种基于视觉感知的运动物体机器人抓取 装置 (57)摘要 本发明属于机器人控制领域， 公开了一种基 于视觉感知的运动物体机器人抓取装置， 包括： 环境图像及构 件图像采集模块、 构 件信息采集模 块、 中央控制模块、 环境地图生成模块、 三维场景 地图生成模块、 标注模块、 信息采集模块、 视觉感 知模块、 识别与姿态确定模块、 定位信息模块、 运 动预测模块、 抓取点确定模块、 路径规划模块、 移 动控制模块以及抓取模块。 本发 明的基于视觉感 知的运动物体机器人抓取装置基于视觉感知、 运 动预测等多种技术， 实现了运动物体的抓取， 同 时还提高了抓取的效率和成功率。 本发明的方法 应用范围广泛可用于高端制造业及航空航天方 面， 适用复杂环境能力强， 运行过程稳定 。 权利要求书2页 说明书5页 附图2页 CN 114888851 A 2022.08.12 CN 114888851 A 1.一种基于视觉感知的运动物体机器人抓取装置， 其特征在于， 所述基于视觉感知的 运动物体机器人抓取装置包括： 视觉感知模块， 与中央控制模块连接， 用于利用设置于机器人上的视觉感知设备实时 获取当前环境中的图像数据； 识别与姿态确定模块， 与中央控制模块连接， 用于从所述当前环境中的图像数据中识 别确定待抓取的运动物体并获取相应运动数据； 运动预测模块， 与中央控制模块连接， 用于基于确定的待抓取的运动物体的当前位置 数据以及生成的三维场景地图结合所述待抓取的运动物体的运动姿态预测所述待抓取的 运动物体的运动轨 迹数据； 抓取点确定模块， 与中央控制模块连接， 用于基于预测得到的待抓取的运动物体的运 动轨迹数据结合机器人的相关信息预测机器人抓取 所述运动物体的抓取点的范围； 路径规划模块， 与中央控制模块连接， 用于将所述待抓取的运动物体的运动轨迹数据、 机器人的当前位置数据标注于所述三 维场景地图中， 并进 行机器人往抓取点范围的路径规 划； 抓取模块， 与中央控制模块连接， 用于控制机器人进行运动物体的抓取。 2.如权利要求1所述基于视觉感知的运动物体机器人抓取装置， 其特征在于， 所述基于 视觉感知的运动物体机器人抓取装置还 包括： 环境图像及构件图像采集模块， 与中央控制模块连接， 用于获取运动物体与机器人所 在环境的图像数据以及运动物体与机器人 所在环境中所有构件、 物体的图像数据； 构件信息采集模块， 与中央控制模块连接， 用于获取运动物体与机器人所在环境中所 有构件、 物体的尺寸信息； 中央控制模块， 与环境图像及构件图像采集模块、 构件信 息采集模块、 环境地图生成模 块、 三维场景地图生成模块、 标注模块、 信息采集模块、 视觉感知模块、 识别与姿态确定模 块、 定位信息模块、 运动预测模块、 抓取点确定模块、 路径规划模块、 移动控制模块以及抓取 模块连接， 用于利用单片机或控制器控制各个模块 正常工作； 环境地图生成模块， 与中央控制模块连接， 用于基于所述运动物体与机器人所在环境 的图像数据构建运动物体与机器人 所在的环境 地图； 三维场景地图生成模块， 与中央控制模块连接， 用于基于运动物体与机器人所在的环 境地图结合运动物体与机器人所在环 境中所有构件、 物体的图像数据、 所有构件、 物体的尺 寸信息构建运动物体与机器人 所在环境的三维场景地图； 标注模块， 与中央控制模块连接， 用于结合所述运动物体与机器人所在环境中所有构 件、 物体的图像数据以及所有构件、 物体的尺寸信息确定所述所有构件、 物体的位置信息， 并在所述 三维场景地图中标注所有构件、 物体的位置数据； 信息采集模块， 与中央控制模块连接， 用于获取待抓取的运动物体以及机器人的相关 信息； 定位信息模块， 与中央控制模块连接， 用于基于识别确定的待抓取的运动物体结合获 取待抓取的运动物体以及机器人的相关信息确定待抓取的运动物体的当前位置数据； 移动控制模块， 与中央控制模块连接， 用于基于路径规划结果控制机器人移动至预测 抓取点处。权　利　要　求　书 1/2 页 2 CN 114888851 A 23.如权利要求2所述基于视觉感知的运动物体机器人抓取装置， 其特征在于， 所述信 息 采集模块包括： 运动物体信息采集单 元， 用于获取待抓取的运动物体的相关信息； 机器人信息采集单 元， 用于获取机器人的相关信息 。 4.如权利要求3所述基于视觉感知的运动物体机器人抓取装置， 其特征在于， 所述机器 人的相关信息包括： 机器人的当前位置信息、 姿态信息、 运动速度。 5.如权利要求1所述基于视觉感知的运动物体机器人抓取装置， 其特征在于， 所述识别 与姿态确定模块包括： 识别单元， 用于结合采集的获取待抓取的运动物体的相关信 息从所述当前环境中的图 像数据中识别确定待抓取的运动物体； 运动信息提取单元， 用于基于识别确定的待抓取的运动物体结合采集的获取待抓取的 运动物体的相关信息以及连续的当前环境的图像数据确定所述待抓取的运动物体的运动 信息。 6.权利要求5所述基于视觉感知的运动物体机器人抓取装置， 其特征在于， 所述待抓取 的运动物体的运动信息包括： 所述待抓取的运动物体的运动姿态、 运动速度。 7.权利要求1所述基于视觉感知的运动物体机器人抓取装置， 其特征在于， 所述抓取模 块控制机器人进行运动物体的抓取包括： 首先， 获取实时视觉感知图像， 判断所述运动物体是否在机器人的抓取范围内， 若不 在， 则控制机器人移动至运动物体的下一状态处或当前位置处； 其次， 获取运动物体的相关信息， 并基于所述运动物体的相关信息以及运动物体与所 述机器人的位置关系确定抓取参数； 最后， 基于所述 抓取参数控制所述机器人进行姿态调整并进行运动物体的抓取。 8.一种计算机设备， 其特征在于， 所述计算机设备包括存储器和处理器， 所述存储器存 储有计算机程序， 所述计算机程序被所述处理器执行时， 使得所述处理器执行如权利要求 1‑7任意一项所述基于 视觉感知的运动物体机器人抓取装置 。 9.一种计算机可读存储介质， 存储有计算机程序， 所述计算机程序被处理器执行时， 使 得所述处理器执行如权利要求1 ‑7任意一项所述基于视觉感知的运动物体机器人抓取装 置。 10.一种信息数据处理终端， 其特征在于， 所述信息数据处理终端用于实现如权利要求 1‑7任意一项所述基于 视觉感知的运动物体机器人抓取装置 。权　利　要　求　书 2/2 页 3 CN 114888851 A 3