(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111492394.3 (22)申请日 2021.12.08 (71)申请人 武汉理工大 学 地址 430063 湖北省武汉市珞狮路12 2号 (72)发明人 裴晓飞　吕柯萱　陈词　刘一平　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 代理人 黎扬鹏 (51)Int.Cl. G06F 30/27(2020.01) (54)发明名称 一种自动驾驶汽车强化学习方法、 系统、 装 置及存储介质 (57)摘要 本发明公开了一种自动驾驶汽车强化学习 方法、 系统、 装置及存储介质。 自动驾驶汽车强化 学习方法包括： 根据真实交通场景数据构建仿真 交通场景； 根据仿真交通场景生成第一行为； 根 据仿真交通场景生成第二行为； 设置偏差； 根据 第一行为、 第二行为和偏差， 采用数字孪生技术 训练自动驾驶汽 车的强化学习模 型。 本发明通过 构建符合真实交通场景数据的仿真交通场景， 并 根据仿真交通场景设置第一行为和第二行为， 使 得交通场景中各车辆的行为考虑到了真实交通 场景中的驾驶习惯和随机事件； 通过设置偏差， 并采用数字孪生技术进行训练测试， 避免了真实 环境中自车执行器控制延 迟带来的性能影响， 进 一步提高了仿真交通场景的真实性和强化学习 模型的可靠性。 权利要求书2页 说明书11页 附图2页 CN 114357860 A 2022.04.15 CN 114357860 A 1.一种自动驾驶汽车强化学习方法， 其特 征在于， 包括以下步骤： 根据真实交通场景数据构建仿真交通场景， 所述仿真交通场景包括不同类型车辆的速 度和运动轨 迹； 根据所述仿真交通场景生成第一行为， 所述第一行为 为旁车的合理驾驶行为； 根据所述仿真交通场景生成第二行为， 所述第二行为 为旁车的随机行为； 设置偏差， 所述偏差包括自车获取 旁车状态时的噪声值； 根据所述第一行为、 所述第二行为和所述偏差， 采用数字孪生技术训练自动驾驶汽车 的强化学习模型。 2.根据权利要求1所述的一种自动驾驶汽车强化学习方法， 其特征在于， 所述根据真实 交通场景 数据构建仿真交通场景， 包括： 获取所述真实交通场景 数据； 根据所述真实交通场景 数据生成不同类型 车辆的速度和运动轨 迹； 对所述运动轨迹进行平 滑处理， 完成所述仿真交通场景的构建。 3.根据权利要求1所述的一种自动驾驶汽车强化学习方法， 其特征在于， 所述根据 所述 仿真交通场景生成第一行为， 包括： 根据所述仿真交通场景， 构建旁车的驾驶员模型， 所述驾驶员模型表现出所述第一行 为。 4.根据权利要求3所述的一种自动驾驶汽车强化学习方法， 其特征在于， 所述根据 所述 仿真交通场景， 构建旁 车的驾驶员模型， 包括： 构建第一控制模型， 所述第一控制模型用于控制横向是否变道； 构建第二控制模型， 所述第二控制模型用于控制纵向加速度； 根据所述第一控制模型和所述第二控制模型， 构建所述驾驶员模型。 5.根据权利要求1所述的一种自动驾驶汽车强化学习方法， 其特征在于， 所述第 二行为 包括： 在直行方向上输出最大减速度， 执 行紧急制动驾驶行为； 执行向左变道驾驶行为； 执行向右变道驾驶行为。 6.根据权利要求1所述的一种自动驾驶汽车强化学习方法， 其特征在于， 所述设置偏 差， 包括： 设置自车获取 旁车状态时的噪声； 根据自车与旁 车的距离， 生成噪声倍数； 根据所述噪声和所述噪声倍数， 得到所述偏差 。 7.根据权利要求1所述的一种自动驾驶汽车强化学习方法， 其特征在于， 还包括以下步 骤： 获取误差数据， 所述 误差数据为所述强化学习模型测试 过程中误差的误差数据； 根据所述误差数据， 对所述仿真交通场景、 所述第 一行为、 所述第二行为和所述偏差进 行数据补充并训练所述强化学习模型。 8.一种自动驾驶汽车强化学习 系统， 其特 征在于， 包括： 仿真交通场景构建模块， 用于根据真实交通场景 数据构建仿真交通场景；权　利　要　求　书 1/2 页 2 CN 114357860 A 2第一行为 生成模块， 用于根据所述交通场景生成第一行为； 第二行为 生成模块， 用于根据所述交通场景生成第二行为； 偏差设置模块， 用于设置偏差； 模型训练模块， 用于根据 所述第一行为、 所述第 二行为和所述偏差， 采用数字孪生技术 训练自动驾驶汽车的强化学习模型。 9.一种自动驾驶汽车强化学习装置， 其特 征在于， 包括： 第一阶段装置， 包括至少一台服务器或PC端， 用于仿真交通场景的构建和强化学习模 型的训练， 实现如权利要求1 ‑7中任一项所述的一种自动驾驶汽车强化学习方法； 第二阶段装置， 包括至少两台服务器或PC端， 分别用于仿真交通场景的构建和强化学 习模型的训练； 包括一辆带有可部署所述强化学习模型控制 器的自动驾驶汽车， 用于执行 所述强化学习模型 的输出动作； 包括至少一条通讯链路， 用于实现所述强化学习模型 的输 出动作到自动驾驶汽车的传输； 第三阶段装置， 包括至少一台PC端， 用于保存训练完成的所述强化学习模型， 并将所述 强化学习模型部署到自动 驾驶汽车； 包括一辆带有可部署所述强化学习模 型控制器的自动 驾驶汽车， 用于执行所述 强化学习模型的输出动作； 包括至少一条通讯链路， 用于实现所述 强化学习模型的输出动作到自动驾驶汽车的传输 。 10.一种存储介质， 其中存储有处理器可执行的程序， 其特征在于： 所述处理器可执行 的程序在由处理器执行时用于实现如权利要求 1‑7中任一项 所述的一种自动驾驶汽车强化 学习方法。权　利　要　求　书 2/2 页 3 CN 114357860 A 3