(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211219574.9 (22)申请日 2022.09.28 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 杨嘉琛　霍紫强　霍佳明　肖帅　 温家宝　 (51)Int.Cl. G01C 21/20(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于局部感知与近端优化策略的AUV路 径规划方法 (57)摘要 当代海洋探测模式向智能化、 信息化转变， 以追求更小的行动风险和更长的航行时间， 水下 无人探测体系的重要性随之日益凸显， 考虑洋流 因素和障碍物因素的路径规划成为AUV水下航行 的必备条件。 本发明是针对洋流因素被忽略， 没 有有效利用局部障碍物信息的情形下， 提出的一 种结合局部感知的近端优化策略算法的AUV路径 规划方法。 通过构建水下洋流环境， 搭建近端优 化策略的神经网络结构， 设计考虑多因素的奖励 函数， 获得AUV水下路径规划的流程图。 通过 实验 对该方法进行了验证。 本发明可广泛应用于水下 AUV的实时路径规划。 权利要求书2页 说明书4页 附图1页 CN 115493595 A 2022.12.20 CN 115493595 A 1.一种基于局部感知与近端优化策略的AUV路径规划方法， 所述路径规划方法包括： (1)获取障碍物信息、 洋流信息， 根据信息构建三维环境； (2)构建用于 评估动作的评论家网络和用来输出动作的演员网络， 初始化网络参数； (3)根据神经网络的输出选择动作， 获取到样本， 并放到经验 池中， 用于之后的学习； (4)设计考虑多种因素的奖励函数； (5)使用经验 池的样本进行训练， 直到 达到最大回合数， 输出路径。 2.如权利要求1所示述的基于局部感知与近端优化策略的AUV路径规划方法， 所述步骤 (4)中的奖励函数计算公式如下： Rd＝arctan k1( ξt‑ξt+1‑δd) 其中ξt代表AUV当前位置和目标点的距离， δd为偏置项， 加大AUV获得正奖励的难度。 与洋流相关的奖励由实际速度 与AUV速度 的比值设定。 当目标可达且洋流对AUV的 运动有积极影响时， 实际速度应大于AUV的速度。 参数τc通常被设置为0.5， 以促进AUV更多 地利用洋流。 Rc随洋流角度的增大而减小， 并随洋流速度的增大而增大。 当洋流产生负面影 响或利用程度较低时， 该公式倾向于通过δc对智能体进行惩罚。 最终奖励函数设置为： R＝ k1*Rd+k2*Rc 3.如权利要求1所示述的基于局部感知与近端优化策略的AUV路径规划方法， 所述步骤 (4)中构建评论家网络和演员网络使用样本进行 学习， 演员网络的更新公式推导如下： 目标函数为： 目标函数的梯度为： 更新公式： 为 α 为学习率 演员网络的更新方式为 当优势函数估计值 大于0时， 网络参数将朝着增大该动作输出概率的方向优化， 但是 优化到rt( θ )＝1+ε为止； 相反地， 当 时， 网络参数将向减小该动作地概率方向优化， 直 到rt( θ )＝1‑ε， 本质上控制了策略更新的幅度。 在近端优化策略中， 使用时序差分误差对优势函数进行估计， 单步TD ‑error定义为累 积折扣奖励和Critic网络状态估计的差值。 优势函数的估计值 为N步TD‑error， 表示 为： δt＝rt+1+γVβ(st+1)‑Vβ(st). 优势函数为： 评论家网络的更新方式为： 4.如权利要求1所示述的基于局部感知与近端优化策略的AUV路径规划方法， 所述步骤 (5)对两个网络进 行参数更新。 根据输出的概率分布， 进 行抽样选取动作。 重复上述采样， 更权　利　要　求　书 1/2 页 2 CN 115493595 A 2新网络的过程， 直到达到指定的最大回合数。 每一回合结束的标志是达到最大步数或者到 达目标点。权　利　要　求　书 2/2 页 3 CN 115493595 A 3