(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210262571.7 (22)申请日 2022.03.17 (71)申请人 上海伯镭智能科技有限公司 地址 200120 上海市浦东 新区中国 （上海） 自由贸易试验区纳贤路8 00号1幢B座6 层619-622室 (72)发明人 胡心怡　杨扬　 (74)专利代理 机构 北京知汇林知识产权代理事 务所(普通 合伙) 11794 专利代理师 杨华 (51)Int.Cl. G06V 20/58(2022.01) G06T 7/50(2017.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G01S 13/86(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 模型训练和道路检测方法及装置 (57)摘要 本公开公开了一种模型训练和道路检测方 法及装置， 涉及自动驾驶技术领域。 其中道路检 测方法包括： 获取已训练神经网络； 所述神经网 络包括第一、 第二、 第三神经网络通路； 所述第一 神经网络通路以图像信息作为输入； 第二神经网 络通路以点 云信息作为输入； 三个神经网络通路 之间具有并列的层连接关系； 获取包含道路的 图 像信息， 将所述图像信息输入第一神经网络通 路； 获取包含道路的点云信息， 将所述点云信息 输入第二神经网络通路； 所述第三神经网络通路 的输出层输出道路坐标信息。 该技术方案不依赖 道路标线和标识， 提高了道路感知的准确性和驾 驶安全性。 权利要求书3页 说明书14页 附图7页 CN 114677660 A 2022.06.28 CN 114677660 A 1.一种模型训练方法， 包括： 构建第一神经网络通路； 所述第一神经网络通路的输入层接收包含道路的图像信息； 所述第一神经网络通路包含多个第一神经网络层； 不同的所述第一神经网络层输出不同尺 度的第一道路特 征图信息； 构建第二神经网络通路； 所述第二神经网络通路的输入层接收包含道路的点云信息； 所述第二神经网络通路包含多个第二神经网络层； 不同的所述第二神经网络层输出不同尺 度的第二道路特 征图信息； 构建第三神经网络通路； 所述第三神经网络通路包含多个第三神经网络层； 每个所述 第三神经网络层接收相同尺度的第一神经网络层和 第二神经网络层的输出； 所述第三神经 网络通路的输出层输出道路坐标信息； 获取训练样本集； 所述训练样本集包括多个道路图像样本和对应的多个道路点云样 本， 以及对应的道路标注数据； 训练神经网络； 给定多个道路图像样本和对应的道路标注数据作为第 一神经网络通路 的输入输出训练数据； 给定多个道路点云样本和对应的道路标注数据作为第二神经网络通 路的输入输出训练数据； 给定多个道路图像样本和对应的多个道路点云样本， 以及对应的 道路标注数据， 作为第三神经网络通路的输入输出训练数据； 对各个神经网络通路进行训 练； 所述训练是基于训练样本集 通过梯度下降法来学习各个神经网络通路中的网络参数。 2.根据权利要求1所述的方法， 包括： 所述第一神经网络层的数量等于所述第 三神经网络层的数量； 所述第 一神经网络层输 出的第一道路特 征图信息 输入相同尺度的第三神经网络层； 所述第二神经网络层的数量等于所述第 三神经网络层的数量； 所述第 二神经网络层输 出的第二道路特 征图信息 输入相同尺度的第三神经网络层； 所述第一神经网络通路具有第 一输入层、 第一卷积层、 第 一输出层； 所述第 一神经网络 层来自于第一卷积层； 所述第二神经网络通路具有第 二输入层、 第二卷积层、 第 二输出层； 所述第 二神经网络 层来自于第二卷积层。 3.根据权利要求1所述的方法， 包括： 所述第三神经网络通路具有第三卷积层、 第三输出层； 所述第三神经网络层来自于第 三卷积层； 每个所述第 三神经网络层还包括一个第 一中间层； 所述第 一中间层与 所述第一神经网 络层连接， 将所述第一神经网络层输出的所述第一道路特征图信息经过正则化处理后得到 第一道路正则化信息； 每个所述第 三神经网络层还包括一个第 二中间层； 所述第 二中间层与 所述第二神经网 络层连接， 将所述第二神经网络层输出的所述第二道路特征图信息经过正则化处理后得到 第二道路正则化信息； 所述第三神经网络层对第 一道路正则化信 息和第二道路正则化信 息进行合并卷积， 得 到保存了图像道路信息和点云道路信息的综合道路信息； 所述第三神经网络通路还具有第三映射层； 所述第三映射层与所述第三卷积层相连， 将所述第三卷积层输出的综合道路信息映射 为世界坐标系下的道路坐标信息 。权　利　要　求　书 1/3 页 2 CN 114677660 A 24.一种道路检测方法， 包括： 获取已训练神经网络； 所述神经网络包括第一神经网络通路、 第二神经网络通路和第 三神经网络通路； 所述第一神经网络通路包含多个第一神经网络层； 不同的所述第一神经 网络层输出不同尺度的第一道路特征图信息； 所述第二神经网络通路包含多个第二神经网 络层； 不同的所述第二神经网络层输出不同尺度的第二道路特征图信息； 所述第三神经网 络通路包含多个第三神经网络层； 每个所述第三神经网络层接收相同尺度的第一神经网络 层和第二神经网络层的输出； 获取道路坐标； 获取包含道路的图像信息， 将所述图像信息输入第一神经网络通路的 输入层； 获取包含道路的点云信息， 将所述点云信息输入第二神经网络通路的输入层； 所述 第三神经网络通路的输出层输出道路坐标信息 。 5.根据权利要求 4所述的方法， 所述获取已训练神经网络， 包括： 获取已训练神经网络的访问接口； 所述访问接口可被本地调用以使用所述已训练神经 网络的所有功能； 所述已训练神经网络部署在本地和/或服务器和/或云端， 并在本地具有使用所述已训 练神经网络的访问接口。 6.根据权利要求 4所述的方法， 包括： 所述包含道路的图像信息是图像原始信息和/或图像特征信息； 所述图像原始信息由 可见光相 机和/或红外相 机获取； 所述图像特征信息由图像原始信息经图像特征提取算法 处理得到； 所述包含道路的点云信息是点云原始信息和/或点云特征信息； 所述点云原始信息由 毫米波雷达或激光雷达获取； 所述点云特征信息由点云原始信息经点云特征提取算法处理 得到； 获取所述包含道路的图像信息之前， 还包括标定 图像获取设备， 计算将图像坐标系转 换至世界坐标系的第一 转换矩阵； 获取所述包含道路的点云信息之前， 还包括标定点云获取设备， 计算将点云坐标系转 换至世界坐标系的第二 转换矩阵。 7.根据权利要求 4所述的方法， 包括： 所述第一道路特 征图信息是二维特 征图信息和/或三维特 征图信息； 所述第二道路特 征图信息是二维特 征图信息和/或三维特 征图信息； 所述第一道路特 征图信息和所述第二道路特 征图信息拥有相同的维数； 所述道路坐标信 息是道路离散点的坐标集合和/或拟合为道路曲线段或曲面片的坐标 集合。 8.一种模型训练装置， 包括： 第一神经网络通路构建模块： 所述第 一神经网络通路的输入层接收包含道路的图像信 息； 所述第一神经网络通路包含多个第一神经网络层； 不同的所述第一神经网络层输出不 同尺度的第一道路特 征图信息； 第二神经网络通路构建模块： 所述第 二神经网络通路的输入层接收包含道路的点云信 息； 所述第二神经网络通路包含多个第二神经网络层； 不同的所述第二神经网络层输出不 同尺度的第二道路特 征图信息；权　利　要　求　书 2/3 页 3 CN 114677660 A 3