(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211231281.2 (22)申请日 2022.10.09 (71)申请人 北京京东乾石科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼19层 A1905室 (72)发明人 张宝丰　刘浩　王丹　王冠　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 专利代理师 许蓓　方亮 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) B60W 60/00(2020.01) B60W 40/00(2006.01) (54)发明名称 模型训练方法和装置及自动驾驶车辆 (57)摘要 本公开提出一种模型训练方法和装置及自 动驾驶车辆， 涉及计算机领域， 尤其涉及自动驾 驶领域。 本公开通过改进复制粘贴的数据增强与 为点云赋予语义的融合方式， 将场景的原始点云 与原始图像进行对照以确定预测语义标签， 通过 减小点云与图像间的对照误差来减小预测语义 标签的误差， 并且， 将附带真实语义标签的实例 样本的点云替换附带预测语义标签的点云中的 部分点， 将附带混合语义标签的点云作为训练数 据， 相对于仅附带预测语义标签的点云作为训练 数据， 增加准确语义标签的数量。 从而， 减小训练 数据中语义标签的误差， 提高训练数据的准确 性， 有利于提高被训练的点云目标检测模型的准 确性。 权利要求书2页 说明书10页 附图5页 CN 115457501 A 2022.12.09 CN 115457501 A 1.一种模型训练方法， 其特 征在于， 包括： 获取第一场景对应的第一 点云和第一图像； 对第一图像进行语义分割， 获得第一图像的语义分割结果， 所述第一图像的语义分割 结果包括第一图像的每 个像素的语义标签； 将第一点云中每个点对应的第 一图像的语义分割结果中相应像素的语义标签， 作为第 一点云中该点的预测语义标签， 以得到附带 预测语义标签的第一 点云； 将附带真实语义标签的实例样本的第二点云通过复制和粘贴替换附带预测语义标签 的第一点云中的部分点， 以得到附带混合语义标签的第三点云， 所述附带混合语义标签的 第三点云中的所述部分点附带真实语义标签、 其 他点附带预测语义标签； 利用附带混合语义标签的第三 点云对点云目标检测模型进行训练。 2.根据权利要求1所述的方法， 其特 征在于， 对点云目标检测模型进行训练包括： 利用附带混合语义标签以及标签类型的第 三点云对点云目标检测模型进行训练， 所述 标签类型用于表征一个 语义标签是真实语义标签或预测语义标签。 3.根据权利要求1所述的方法， 其特 征在于， 得到附带 预测语义标签的第一 点云包括： 根据点云到相机的坐标转换关系， 将第一点云投影到相机坐标系， 以确定第一点云中 每个点对应的第一图像中的相应 像素； 将第一点云中每个点对应的第 一图像的语义分割结果中相应像素的语义标签， 作为第 一点云中该点的预测语义标签， 得到附带 预测语义标签的第一 点云。 4.根据权利要求1所述的方法， 其特 征在于， 还 包括： 统计训练数据中各种实例样本的数量， 在各种实例样本的数量不均衡的情况下， 将数 量较少的实例样本作为第二 点云相应的实例样本 。 5.根据权利要求1所述的方法， 其特 征在于， 对第一图像进行语义分割包括： 利用语义分割模型， 对第一图像进行语义分割， 得到第一图像的语义分割结果。 6.根据权利要求1所述的方法， 其特征在于， 获取第 一场景对应的第 一点云和第 一图像 包括： 通过雷达获取第一场景对应的第一 点云， 通过相机获取第一场景对应的第一图像。 7.根据权利要求1 ‑6任一项所述的方法， 其特 征在于， 还 包括： 利用训练后的点云目标检测模型， 对当前点云进行目标检测； 基于检测的目标， 进行自动驾驶控制。 8.一种模型训练装置， 包括： 存储器； 以及 耦接至所述存储器的处理器， 所述处理器被配置为基于存储在所述存储器中的指令， 执行权利要求1 ‑6任一项所述的模型训练方法。 9.一种模型训练装置， 包括： 信息获取 单元， 被配置为获取第一场景对应的第一 点云和第一图像； 语义分割单元， 被配置为对第 一图像进行语义分割， 获得第 一图像的语义分割结果， 所 述第一图像的语义分割结果包括第一图像的每 个像素的语义标签； 语义预测单元， 被配置为将第 一点云中每个点对应的第 一图像的语义分割结果中相应 像素的语义标签， 作为第一点云中该点的预测语义标签， 以得到附带预测语义标签的第一权　利　要　求　书 1/2 页 2 CN 115457501 A 2点云； 语义处理单元， 被配置为将附带真实语义标签的实例 样本的第 二点云通过复制和粘贴 替换附带预测语义标签的第一点云中的部分点， 以得到附带混合语义标签的第三点云， 所 述附带混合语义标签的第三点云中的所述部分点附带真实语义标签、 其他点附带预测语义 标签； 模型训练单元， 被配置为利用附带混合语义标签的第 三点云对点云目标检测模型进行 训练。 10.根据权利要求9所述的装置， 其特 征在于， 所述模型训练单 元， 被配置为： 利用附带混合语义标签以及标签类型的第 三点云对点云目标检测模型进行训练， 所述 标签类型用于表征一个 语义标签是真实语义标签或预测语义标签。 11.根据权利要求9所述的装置， 其特 征在于， 所述语义预测单 元， 被配置为： 根据点云到相机的坐标转换关系， 将第一点云投影到相机坐标系， 以确定第一点云中 每个点对应的第一图像中的相应 像素； 将第一点云中每个点对应的第 一图像的语义分割结果中相应像素的语义标签， 作为第 一点云中该点的预测语义标签， 得到附带 预测语义标签的第一 点云。 12.根据权利要求9所述的装置， 其特 征在于， 还 包括： 样本均衡单元， 被配置为统计训练数据中各种实例样本的数量， 在各种实例样本的数 量不均衡的情况 下， 将数量较少的实例样本作为第二 点云相应的实例样本 。 13.一种自动驾驶车辆， 其特 征在于， 包括： 中央处理器， 被配置为利用点云目标检测模型， 对当前点云进行目标检测， 基于检测的 目标， 进行自动驾驶控制， 其中， 所述点云目标检测模型是根据权利要求1 ‑6任一项所述的模型训练方法进行训 练得到的。 14.根据权利要求13所述的自动驾驶车辆， 其特 征在于， 所述自动驾驶车辆包括： 自动驾驶模块、 底盘模块、 远程监控推流模块、 货箱模块中的至少一个， 其中， 所述中央 处理器位于所述自动驾驶模块中。 15.一种非瞬时性计算机可读存储介质， 其上存储有计算机程序， 该程序被处理器执行 时实现权利要求1 ‑7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115457501 A 3