(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211087600.7 (22)申请日 2022.09.07 (71)申请人 吉林大学 地址 130022 吉林省长 春市南关区人民大 街5988号 (72)发明人 于树友　李云勇　冯阳阳　盛恩聪　 林宝君　陈虹　 (74)专利代理 机构 北京奇眸智达知识产权代理 有限公司 1 1861 专利代理师 樊进茹 (51)Int.Cl. G05D 1/02(2020.01) G06F 30/20(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于强化学习算法的横纵耦合车辆编 队预测控制方法 (57)摘要 本发明属于汽 车控制技术领域， 公开了一种 基于强化学习算法的横纵耦合车辆编队预测控 制方法， 包括： S1.将考虑了非线 性魔术公式轮胎 模型的3‑DOF车辆动力学模型与车道保持模型相 结合， 建立车辆队列模型； S2.构建分布式的控制 框架， 并在该控制框架下依据所述车辆队列模型 为每一辆跟随车辆设计局部预测控制器； S3.利 用强化学习算法求解所述局部预测控制器的最 优控制策略， 并将该最优控制策略作用于目标跟 随车辆。 本发明完成了车辆编队横纵耦合建模， 并考虑了轮胎非线性特性， 以此使本发明更加符 合车辆系统非线性、 多变量、 强耦合的特性； 另 外， 本发明还将车辆编队全局优化问题转化为每 一辆跟随车辆的局部优化问题， 避免了集中式控 制的负担 。 权利要求书3页 说明书7页 附图4页 CN 115454065 A 2022.12.09 CN 115454065 A 1.一种基于强化学习算法的横纵耦合车辆编队预测控制方法， 其特 征在于， 包括： S1.将考虑了非线性魔术公式轮胎模型的3 ‑DOF车辆动力学模型与车道保持模型相结 合， 建立车辆队列模型 xi(k+1)＝f(xi(k),ui(k))； 式中， xi(k)为状态量， ui(k)为输入量； S2.构建分布式的控制框架， 并在该控制框架下依据所述车辆队列模型为每一辆跟随 车辆设计局部预测控制器 式中， k为当前时刻， k+i为预测时域内第i时刻， xi(·)为预测状态， ri(·)为理想状态， 与 表示车辆假设轨迹状态， 通过车辆间通信得到， Tp为预测时域， Qi， Fi， Gi， Ri为权重矩阵； S3.利用强化学习算法求解所述局部预测控制器的最优控制策略， 并通过所述局部预 测控制器将该最优 控制策略作用于目标跟随车辆 。 2.根据权利要求1所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法， 其特征在于， 所述非线性魔术公式轮胎模型中轮胎侧向力采用以下魔术公式计算： Fiy＝Dsin(Carctan(Bα ‑E(Bα‑arctanBα ) ))； 式中， α 为轮胎的侧偏角， B,C,D,E为仿真参数。 3.根据权利要求2所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法， 其特征在于， 所述3 ‑DOF车辆动力学模型表达为： 式中各参数均为 ith车的参数， 且 分别为纵向速度、 横向速度和横摆角速度， Fix为纵向力， Fiyf,Fiyr分别为前、 后 轮侧向力， mi为车辆质量， Iiz为车辆绕z轴的转动惯量， δi为前轮转角， ai,bi分别为质心到 前、 后轴的距离 。 4.根据权利要求3所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法， 其特征在于， 所述车道保持模型表达为： 式中， 为期望航向角速度， L为预瞄距离， 为纵向车间距误差， 为车辆与车道线 的横向位置误差， 为车辆航向角与道路切线的航向角误差 。权　利　要　求　书 1/3 页 2 CN 115454065 A 25.根据权利要求1所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法， 其特征在于， 利用所述强化学习算法求 解所述局部预测控制器的最优 控制策略时： 搭建并训练actor策略函数神经网络， 用于优化策略参数； 搭建并训练critic价值函数神经网络， 用于评估所述actor策略函数神经网络所优化 的当前控制策略的优劣； 根据所述actor策略函数神经网络与所述critic价值函数神经网络的交替收敛获取最 优控制策略。 6.根据权利要求5所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法， 其特征在于： 优化策略参数时,所述actor策略函数神经 网络采用Tp个径向基函数构成的网络逼近Tp 步最优策略， 且所述actor策略函数神经网络以状态s为输入量、 以动作a为输出量； 评估当前控制策略的优劣时， 所述critic价值函数神经网络采用Tp个径向基函数构成 的网络执行评估， 且 所述critic价值函数神经网络以状态s和动作a为输入量、 以状态 ‑动作 价值q(s,a)为输出量。 7.根据权利要求6所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法， 其特征在于： 所述actor策略函数神经网络与所述critic价值函数神经网络中的基向量φ (x)与 ψ(x)均为径向基函数， 且 式中， κ 设置为1， {xi,i＝1,2,…M}为径向基函数中心， M为隐含层个数。 8.根据权利要求7所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法， 其特征在于， 通过归一 化处理获取所述径向基函数中心： 式中， xnormaliz e为归一化后的数据， xcollect为采集到的数据， xmax与xmin分别为采集到的数 据中的最大值与最小值； 该采集到的数据为： 在控制输入范围内随机给定策略， 通过仿真采集得到所述车辆队 列模型的输入数据和输出 数据。 9.根据权利要求8所述的一种基于强化学习算法的横纵耦合车辆编队预测控制方法， 其特征在于， 交替收敛获取最优 控制策略时： 初始化所述actor策略函数神经网络 权重θ与所述critic价 值函数神经网络 权重ω； 所述actor策略函数神经网络根据目标跟随车辆当前的状态s获得动作a， 并将动作a作 用于目标跟随车辆得到新的状态s ′和即时奖励r； 所述actor策略函数神经网络根据新的状态s ′获得新的动作a ′； 所述critic价值函数神经网络对动作a和a ′进行评估打分得到q(s,a)与q(s ′,a′)， 然 后根据贝尔曼方程计算得到所述critic价值函数神经网络的预测值q(s,a)与期望值yt之 间的误差TDer ror： TDer ror＝yt‑q(s,a)， yt＝r+γq(s ′,a′)；权　利　要　求　书 2/3 页 3 CN 115454065 A 3