(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211129728.5 (22)申请日 2022.09.16 (71)申请人 小米汽车 科技有限公司 地址 100176 北京市北京经济技 术开发区 科创十街15号院5号楼6层618室 (72)发明人 刘安华　 (74)专利代理 机构 北京法胜知识产权代理有限 公司 11922 专利代理师 石茵汀 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 20/56(2022.01) (54)发明名称 模型训练方法、 图像处 理方法、 装置和车辆 (57)摘要 本公开关于一种模型训练方法、 图像处理方 法、 装置和车辆， 属于自动驾驶、 图像处理技术领 域。 其中， 该方法包括： 获取初始模型； 基于隶属 于图像分割任务的第一训练样 本， 对共享初始网 络层和第一初始网络层进行训练， 得到共享候选 网络层和第一候选网络层； 基于隶属于图像分类 任务的第二训练样本， 对第二初始网络层进行训 练， 得到第二候选网络层； 基于共享候选网络层、 第一候选网络层和第二候选网络层， 生成目标模 型。 由此， 可对共享初始网络层和第一初始网络 层进行图像分割任务的训练， 并对第二初始网络 层进行图像分类任务的训练， 先进行图像分割任 务的训练， 有助于提升图像分类任务的训练速度 和精度， 即提高了模型训练效果。 权利要求书4页 说明书14页 附图5页 CN 115223015 A 2022.10.21 CN 115223015 A 1.一种模型训练方法， 其特 征在于， 包括： 获取初始模型， 其中， 所述初始模型包括共享初始网络层、 第一初始网络层和第 二初始 网络层； 基于隶属于图像分割 任务的第 一训练样本， 对所述共享初始网络层和所述第 一初始网 络层进行训练， 得到共享 候选网络层和第一 候选网络层； 基于隶属于 图像分类任务的第二训练样本， 对所述第二初始网络层进行训练， 得到第 二候选网络层； 基于所述共享候选网络层、 所述第一候选网络层和所述第二候选网络层， 生成所述初 始模型训练后的目标模型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述共享候选网络层、 所述第一 候选网络层和所述第二 候选网络层， 生成所述初始模型训练后的目标模型， 包括： 基于隶属于图像分割 任务的第 三训练样本和隶属于图像分类任务的第四训练样本， 对 所述共享候选网络层、 所述第一候选网络层和所述第二候选网络层进行训练， 得到共享 目 标网络层、 第一目标网络层和第二目标网络层； 对所述共享目标网络层、 所述第一目标网络层和所述第二目标网络层进行组合， 得到 所述目标模型。 3.根据权利要求2所述的方法， 其特征在于， 所述基于隶属于图像分割 任务的第 三训练 样本和隶属于图像分类任务的第四训练样本， 对所述共享候选网络层、 所述第一候选网络 层和所述第二候选网络层进行训练， 得到共享 目标网络层、 第一 目标网络层和第二 目标网 络层， 包括： 基于所述第三训练样本， 对所述共享候选网络层和所述第一候选网络层进行前向计 算， 得到第一前向计算结果， 并基于所述第四训练样本， 对所述共享候选网络层和所述第二 候选网络层进行 前向计算， 得到第二前向计算结果； 基于所述第一前向计算结果和所述第二前向计算结果， 对所述共享候选网络层、 所述 第一候选网络层和所述第二 候选网络层进行反向计算， 得到反向计算结果； 基于所述反向计算结果， 对所述共享候选网络层、 所述第一候选网络层和所述第二候 选网络层的模型参数进行更新， 以得到所述共享 目标网络层、 所述第一 目标网络层和所述 第二目标网络层。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述第三训练样本， 对所述共享 候选网络层和所述第一候选网络层进行前向计算， 得到第一前向计算结果， 并基于所述第 四训练样本， 对所述共享候选网络层和所述第二候选网络层进行前向计算， 得到第二前向 计算结果， 包括： 基于m个第 三训练样本， 对所述共享候选网络层和所述第 一候选网络层进行m次前向计 算， 得到所述第一前向计算结果， 其中， m为 正整数； 基于n个第四训练样本， 对所述共享候选网络层和所述第 二候选网络层进行n次前向计 算， 得到所述第二前向计算结果， 其中， n 为正整数。 5.根据权利要求2所述的方法， 其特征在于， 所述共享目标网络层的输入端为所述目标 模型的输入端， 所述共享 目标网络层的输出端分别与所述第一 目标网络层、 所述第二 目标 网络层的输入端连接， 所述第一 目标网络层、 所述第二 目标网络层的输出端为所述 目标模权　利　要　求　书 1/4 页 2 CN 115223015 A 2型的输出端。 6.根据权利要求1所述的方法， 其特征在于， 所述基于隶属于图像分割 任务的第 一训练 样本， 对所述共享初始网络层和所述第一初始网络层进行训练， 得到共享候选网络层和第 一候选网络层， 包括： 对所述共享初始网络层和所述第一初始网络层进行组合， 得到第一模型； 将所述第一训练样本 输入所述第一模型中， 获取 所述第一模型的第一输出； 基于所述第一训练样本的标签和所述第一输出， 对所述第一模型进行训练， 得到第二 模型， 其中， 所述第二模型包括所述共享 候选网络层和所述第一 候选网络层。 7.根据权利要求1所述的方法， 其特征在于， 所述基于隶属于图像分类任务的第 二训练 样本， 对所述第二初始网络层进行训练， 得到第二 候选网络层， 包括： 对所述共享 候选网络层和所述第二初始网络层进行组合， 得到第三模型； 将所述第二训练样本 输入所述第三模型中， 获取 所述第三模型的第二输出； 基于所述第 二训练样本的标签和所述第 二输出， 对所述第 三模型中的所述第 二初始网 络层进行训练， 得到所述第二 候选网络层。 8.根据权利要求1 ‑7中任一项所述的方法， 其特征在于， 所述图像分割任务包括实体分 割任务， 所述图像分类任务包括可 行驶区域检测任务。 9.一种图像处 理方法， 其特 征在于， 包括： 获取待处 理图像； 将所述待处理图像输入目标模型中， 由所述目标模型输出所述待处理图像的处理结 果， 其中， 所述目标模型采用如权利要求1 ‑8中任一项所述的模型训练方法得到 。 10.根据权利要求9所述的方法， 其特征在于， 所述目标模型包括共享目标网络层、 第 一 目标网络层和第二 目标网络层， 所述由所述 目标模型输出所述待处理图像的处理结果， 包 括： 由所述第一目标网络层输出 所述待处 理图像中的实体分割区域； 和/或， 由所述第二目标网络层输出 所述待处 理图像中的可 行驶区域。 11.一种模型训练装置， 其特 征在于， 包括： 获取模块， 被配置为执行获取初始模型， 其中， 所述初始模型包括共享初始网络层、 第 一初始网络层和第二初始网络层； 第一训练模块， 被配置为执行基于隶属于 图像分割任务的第一训练样本， 对所述共享 初始网络层和所述第一初始网络层进行训练， 得到共享 候选网络层和第一 候选网络层； 第二训练模块， 被配置为执行基于隶属于 图像分类任务的第二训练样本， 对所述第二 初始网络层进行训练， 得到第二 候选网络层； 生成模块， 被配置为执行基于所述共享候选网络层、 所述第一候选网络层和所述第二 候选网络层， 生成所述初始模型训练后的目标模型。 12.根据权利要求1 1所述的装置， 其特 征在于， 所述 生成模块， 还被 配置为执 行： 基于隶属于图像分割 任务的第 三训练样本和隶属于图像分类任务的第四训练样本， 对 所述共享候选网络层、 所述第一候选网络层和所述第二候选网络层进行训练， 得到共享 目 标网络层、 第一目标网络层和第二目标网络层； 对所述共享目标网络层、 所述第一目标网络层和所述第二目标网络层进行组合， 得到权　利　要　求　书 2/4 页 3 CN 115223015 A 3