(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210466986.6 (22)申请日 2022.04.29 (71)申请人 宜宾职业 技术学院 地址 644000 四川省宜宾市翠屏区西郊百 石村 (72)发明人 杜秀君　梅容芳　代云中　杨军　 (74)专利代理 机构 成都市鼎宏恒业知识产权代 理事务所(特殊普通合伙) 51248 专利代理师 罗杰 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 基于改进DQN算法的茶叶采摘机械手 路径规 划 (57)摘要 本发明涉及路径 规划技术领域， 具体涉及是 一种基于改进DQN算法的茶叶采摘机械手 路径规 划， 根据图像识别技术实现采摘对象的嫩芽识别 以及位置空间的确定， 然后利用改进型的深度强 化学习算法进行强化训练， 实现对采摘路径的规 划， 达到提高采摘效率的目的， 通过设置的包含 速度、 角速度、 距离误差等参数作为主要的参考 值， 基于深度强化学习建立的奖励函数， 使其在 路径探索过程中具有导向性， 减小探索时间， 提 高路径的优化效率， 通过仿真结果验证得到， 改 进DQN算法能够在传统DQN算法基础上实现对采 摘路径规划效率的提高， 同时对采摘路径中的障 碍进行避让， 实现对嫩芽叶茎位的准确切割， 提 高了茶叶的采摘效率。 权利要求书2页 说明书7页 附图4页 CN 115194758 A 2022.10.18 CN 115194758 A 1.基于改进DQ N算法的茶叶采摘机 械手路径规划， 其特 征在于： 包括以下步骤： S1.建立茶叶采摘机 械手的目标函数； S2.建立茶叶采摘机 械手的Q值网络模型； S3.设置茶叶采摘机 械手与环境交 互的经验回收； S4.设置奖励函数作用Q 值网络模型； S5.通过仿真规划茶叶采摘机 械手运动路径规划。 2.根据权利要求1所述的基于改进DQN算法的茶叶采摘机械手路径规划， 其特征在于： S1中， 茶叶采摘机 械手为三自由度的机 械手。 3.根据权利要求2所述的基于改进DQN算法的茶叶采摘机械手路径规划， 其特征在于： S1中， 目标函数通过Q ‑learing构建得到， 利用公式1得到茶叶采摘机械手的更新后的动作 值和状态值：    （公式1） 其中 （s,a） 表示 当前的状态 和动作值， 表示下一步的状态和动作值， 而 表示更新后的状态值， 当运动到s状 态时则可以得到奖励值r， 然后对其进行评估计算。 4.根据权利要求3所述的基于改进DQN算法的茶叶采摘机械手路径规划， 其特征在于： S1中 ， 对于目标状态—动作值函数可以 利用贝尔曼方程表示如公式2所示 ：              (公式2） 。 5.根据权利要求4所述的基于改进DQN算法的茶叶采摘机械手路径规划， 其特征在于： S1中， 由此损失函数的均方差损失函数表达式如式3所示， ω为神经网络结构的权值参数：         （公式3） 。 6.根据权利要求5所述的基于改进DQN算法的茶叶采摘机械手路径规划， 其特征在于： S2中， 通过梯度下降法获得公式4， 其中利用目标网络和预测网络评估当前状态 ‑动态值函 数， 目标网络基于神经网络得到目标Q值， 利用当前目标Q值估计下一时刻的目标Q值， 预测 网络则可以使用随机梯度下降法， 不断更新网络参数， 实现端到端的学习控制：    （公式4） 。 7.根据权利要求6所述的基于改进DQN算法的茶叶采摘机械手路径规划， 其特征在于： S3中， 机器人和环境交互时， 可获得样本数据， 把样本数据存储到建立的经验池中， 从经验 池中随机抽取小部分数据用于训练样本， 再将训练样本送入神经网络中训练。 8.根据权利要求7所述的基于改进DQN算法的茶叶采摘机械手路径规划， 其特征在于： S4中， 奖励函数中包含茶叶采摘机械手根据切割点到采摘点的空间位置距离、 运动的速度、 角速度。 9.根据权利要求8所述的基于改进DQN算法的茶叶采摘机械手路径规划， 其特征在于： S4中， 奖励函数的表达式如下：    （公式5）权　利　要　求　书 1/2 页 2 CN 115194758 A 2其表示当前速度、 角速度和距离误差值状态变化 函数。 10.根据权利要求9所述的基于改进DQN算法的茶叶采摘 机械手路径规划， 其特征在于： S5中， 基于ROS系统中的Gazebo平 台， 搭建茶叶采摘机械手的运动模型， 通过算法结构调整 控制参数， 进行茶叶采摘机 械手运动路径规划。权　利　要　求　书 2/2 页 3 CN 115194758 A 3