(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211140394.1 (22)申请日 2022.09.20 (71)申请人 毫末智行 科技有限公司 地址 100055 北京市丰台区广安路9号院3 号楼18层1802 (72)发明人 顾维灏　艾锐　王岳　曹东璞　 王聪　张凯　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 任晨雪 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/56(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) B60W 30/18(2012.01) (54)发明名称 一种车辆的自动控制方法、 装置、 车辆、 设备 及存储介质 (57)摘要 本发明提供了一种车辆的自动控制方法、 装 置、 车辆、 设备及存储介质， 所述方法包括： 获取 车辆针对待通行路口所采集的目标颜色图像以 及感知信息； 基于感知信息， 构建鸟瞰图像； 将鸟 瞰图像和目标颜色图像输入预训练的目标模型， 获取目标模型输出的通行类别； 其中， 目标模型 是以图像样本组为训练样本对预设模型进行训 练得到的， 图像样本组包括车辆通过真实路口时 采集的颜色图像样本和鸟瞰图像样 本； 基于通行 类别， 控制车辆在路口停止， 或通过路口； 本发明 通过真实的驾驶数据构建目标模型判断车辆在 路口是通行还 是停止， 提高车辆行为判断的安全 性。 权利要求书2页 说明书9页 附图2页 CN 115223148 A 2022.10.21 CN 115223148 A 1.一种车辆的自动控制方法， 其特 征在于， 所述方法包括： 获取所述车辆针对待通行路口所采集的目标颜色图像以及感知信息， 其中， 所述目标 颜色图像中包括红绿灯的图像信息； 所述感知信息是对所述车辆当前所处环境和/或行驶 工况所采集的信息； 基于所述感知信息， 构建鸟瞰图像； 将所述鸟瞰图像和所述目标颜色图像输入预训练 的目标模型， 获取所述目标模型输出 的通行类别； 其中， 所述目标模 型是以图像样 本组为训练样本对预设模型进行训练得到的， 所述图像样本组包括车辆通过真实路口时采集的颜色图像样本和鸟瞰图像样本； 基于所述 通行类别， 控制所述车辆在所述路口停止， 或通过 所述路口。 2.根据权利要求1所述的车辆的自动控制方法， 其特征在于， 所述获取所述车辆针对待 通行路口所采集的目标颜色图像， 包括： 将所述车辆采集到的多张颜色图像输入到二分类模型中； 基于所述二分类模型输出的每张颜色图像对应的分类结果， 筛选出多张所述目标颜色 图像， 所述分类结果表征 所述颜色图像是否包括红绿灯图像； 其中， 所述二分类模型是以包括红绿灯图像信 息的颜色图像和未包括红绿灯图像信 息 的颜色图像作为训练样本训练得到的。 3.根据权利要求1所述的车辆的自动控制方法， 其特征在于， 所述感知信 息至少包括车 辆描述信息、 障碍物信息以及车道信息， 其中， 所述车辆描述信息包括所述车辆所在的位 置、 所述车辆的尺寸 参数中的至少一 者， 所述基于所述感知信息， 构建鸟瞰图像， 包括： 基于所述车辆描述信息、 所述障碍物信息以及所述车道信息， 按照预设的坐标转换关 系， 将所述车辆所在的位置、 所述车辆的尺寸参数、 所述车辆 当前所处环境的车道以及障碍 物映射到三维坐标系中， 得到各自对应的映射 坐标； 根据各个所述映射 坐标， 绘制所述鸟瞰图像。 4.根据权利要求1所述的车辆的自动控制方法， 其特征在于， 所述目标模型通过以下步 骤训练得到： 将所述图像样本组中的所述目标颜色图像样本和所述鸟瞰图像样本输入所述预设模 型中， 得到所述预设模型输出的预测通行类别； 基于所述预测通行类别和所述图像样本组对应的通行类别标签， 确定所述预设模型对 应的损失值； 其中， 所述 通行类别标签表征 所述车辆是否真实通过路口； 基于所述损失值， 对所述预设模型进行 更新； 将多次更新后的预设模型作为所述目标模型。 5.根据权利要求1 ‑4任一所述的车辆的自动控制方法， 其特征在于， 所述目标模型包 括： 融合模块以及分类模块； 其中， 所述融合模块用于对所述目标颜色图像和所述鸟瞰图像进行融合， 得到融合图 像； 所述分类模块用于根据输入至所述分类模块的所述融合图像， 确定所述 通行类别。 6.根据权利要求5所述的车辆的自动控制方法， 其特征在于， 所述对所述目标颜色图像 和所述鸟瞰图像进行融合的步骤 包括： 对所述目标颜色图像进行特征提取， 得到多个不同尺度的颜色图像特征图； 以及， 对所权　利　要　求　书 1/2 页 2 CN 115223148 A 2述鸟瞰图像进行多次特 征提取， 得到多个不同尺度的鸟瞰图像特 征图； 以所述鸟瞰图像特征图作为所述颜色图像特征图辅助， 将相同尺度的所述鸟瞰图像特 征图和所述颜色图像特 征图进行融合， 得到每种尺度对应的融合特 征图； 再将不同尺度对应的融合特 征图进行融合， 得到所述融合图像。 7.一种车辆的自动控制装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取所述车辆针对待通行路口所采集的目标颜色图像以及感知信 息， 其中， 所述目标颜色图像中包括红绿灯的图像信息； 所述感知信息是对所述车辆 当前所 处环境和/或行驶工况 所采集的信息； 构建模块， 用于基于所述感知信息， 构建鸟瞰图像； 第二获取模块， 用于将所述鸟瞰图像和所述目标颜色图像输入预训练的目标模型， 获 取所述目标模型输出 的通行类别； 其中， 所述 目标模型是以图像样本组为训练样本对预设 模型进行训练得到的， 所述图像样本组包括车辆通过真实路口时采集的颜色图像样本和 鸟 瞰图像样本； 控制模块， 用于基于所述 通行类别， 控制所述车辆在所述路口停止， 或通过 所述路口。 8.一种车辆， 其特征在于， 包括： 控制单元， 所述控制单元用于执行上述权利要求1 ‑6任 一所述的车辆的自动控制方法。 9.一种电子设备， 包括存储器、 处理器以及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行时实现如权利要求 1‑6任一项所述的车辆的自动控 制方法中的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储执行权利要 求1‑6任一所述的车辆的自动控制方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 115223148 A 3