(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210499055.6 (22)申请日 2022.05.09 (71)申请人 青岛理工大 学 地址 266034 山东省青岛市 市北区抚顺路 11号 (72)发明人 房桐　杜保帅　张田　赵景波　 张晓寒　 (74)专利代理 机构 济南佰智蔚 然知识产权代理 事务所(普通 合伙) 37285 专利代理师 刘静 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多任务卷积的物体抓取定位识别算法、 系统和机 器人 (57)摘要 本发明公开了基于多任务卷积的物体抓取 定位识别算法、 系统和机器人， 获取视场范围内 物体的图像与位置信息； 将获取到的图像信息输 入Darknet ‑53网络中， 提取共享层的多尺度特征 信息； 将提取到的多尺度特征信息映射到抓取物 识别检测Multi ‑task分支独享层和抓取物定位 ED‑YOLO分支独享层； 两个分支独享层根据其损 失函数独立计算损失值， 并根据损失值利用反向 传播算法分别对网络进行反向传播迭代所在分 支的独享参数和共享参数； 对共享层和分支独享 层交替训练； 采用非极大抑制 处理， 得到最终的 物体图像与位置信息。 本发明有益效果在于： 在 保证稳定性和实时性的基础上在一个模型内同 时完成抓取框 检测和抓取物 识别分类 检测。 权利要求书2页 说明书7页 附图5页 CN 114764831 A 2022.07.19 CN 114764831 A 1.一种基于多任务卷积的物体抓取定位识别算法， 其特 征在于， 包括以下步骤： 获取视场范围内物体的图像与位置信息， 并向用户输出 所述获取到的图像信息； 将获取到的图像信息 输入到Dark net‑53网络中， 提取共享层的多尺度特 征信息； 将提取到的多尺度特征信息 映射到抓取物识别检测Multi ‑task分支独享层和抓取物 定位ED‑YOLO分支独享层； 两个分支独享层根据其损失函数独立计算损失值， 并根据损失值利用反 向传播算法分 别对网络进行反向传播迭代所在分支的独享 参数和共享 参数； 对共享层多尺度特征信息、 抓取物识别检测Multi ‑task分支独享层以及抓取物定位 ED‑YOLO分支独享层交替训练； 采用非极大抑制处 理， 得到最终的物体图像与位置信息 。 2.根据权利要求1所述的一种基于多任务卷积的物体抓取定位识别算法， 其特征在于， 所述交替训练包括前期的共享层和两个独享层 全参数更新训练、 以及后 期的独享层参数更 新训练。 3.根据权利要求2所述的一种基于多任务卷积的物体抓取定位识别算法， 其特征在于， 所述前期的共享层和 两个独享层全参数更新训练为： 首先， 固定ED ‑YOLO支路 的参数， 训练 Multi‑task独享层参数， 计算Multi ‑task预测损失， 配合学习衰减策略更新共享层与 Multi‑task独享层的网络参数； 然后， 固定Multi ‑task独享层参数， 训练ED ‑YOLO独享层网 络参数， 计算ED ‑YOLO预测损失， 配合学习衰减策略更新共享成与ED ‑YOLO独享层的网络参 数。 4.根据权利要求2或3所述的一种基于多任务卷积的物体抓取定位识别算法， 其特征在 于， 所述后期的独享层参数更新训练为： 首先， 固定Multi ‑task独享层参数， 对ED ‑YOLO独享 层进行参数训练， 计算ED ‑YOLO预测损失， 配合学习衰减策略更新ED ‑YOLO独享层网络参数； 然后， 固定ED ‑YOLO独享层参数， 训练Multi ‑task独享层参数， 计算Multi ‑task预测损失， 配 合学习衰减策略更新Multi ‑task预测损失独享层网络参数。 5.根据权利要求4所述的一种基于多任务卷积的物体抓取定位识别算法， 其特征在于， 最后一次ED ‑YOLO独享层更新完成后， Multi ‑task独享层不再更新， 对训练后的Multi ‑task 独享层进行参数微调。 6.根据权利要求4所述的一种基于多任务卷积的物体抓取定位识别算法， 其特征在于， 训练优化器采用Adam， 初始学习率 为1e‑3， 学习率衰减策略为 余弦退火。 7.一种基于多任务卷积的物体抓取定位识别系统， 其特 征在于， 包括： 图像获取输出模块， 配置用于获取视场范围内物体的图像与位置信息， 并向用户输出 所述获取到的图像信息； 图像输入模块， 配置用于将获取到的图像信息输入到Darknet ‑53网络中， 提取共享层 的多尺度特 征信息； 信息映射模块， 配置用于将提取到的多尺度特征信息映射到抓取物识别检测Multi ‑ task分支独享层和抓取物定位ED ‑YOLO分支独享层； 参数更新模块， 配置用于两个分支独享层根据其损 失函数独立计算损 失值， 并根据损 失值利用反向传播 算法分别对网络进行反向传播迭代所在分支的独享 参数和共享 参数； 训练模块， 配置用于对共享层多尺度特征信息、 抓取物识别检测Multi ‑task分支独享权　利　要　求　书 1/2 页 2 CN 114764831 A 2层以及抓取物定位ED ‑YOLO分支独享层交替训练； 结果获取模块， 配置用于采用非极大抑制处 理， 得到最终的物体图像与位置信息 。 8.根据权利要求7所述的一种基于多任务卷积的物体抓取定位识别系统， 其特征在于， 训练模块包括前期的共享层和两个独享层 全参数更新训练、 以及后期的独享层参数更新训 练。 9.一种机器人， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个处理器 执行如权利要求1 ‑6任一所述的方法。 10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在 于,所述计算机程序被处 理器执行时实现如权利要求1 ‑6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114764831 A 3