(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211081506.0 (22)申请日 2022.09.06 (71)申请人 联友智连科技有限公司 地址 510800 广东省广州市花都区风神大 道15号1栋一楼1 17房 (72)发明人 刘尚武　谢浪雄　黄普辉　陈桂松　 龙辉　刘芳文　徐顺帆　 (74)专利代理 机构 深圳市顺天达专利商标代理 有限公司 4 4217 专利代理师 高占元 (51)Int.Cl. G01C 21/32(2006.01) G01C 21/00(2006.01) G06V 20/56(2022.01) G06T 7/73(2017.01) (54)发明名称 语义点云地图构建方法、 装置及电子设备 (57)摘要 本发明涉及点云地图技术领域， 提供了一种 语义点云地图构建方法、 装置及电子设备。 上述 方法包括： 获取车辆的轮速计数据和摄像机采集 的图像数据； 将轮速计数据和图像数据融合得到 每一帧图像的位姿信息； 确定每一帧图像中各个 像素的语义类别； 确定每一帧图像中的图像目标 元素在摄像机坐标系下的第一坐标； 基于位姿信 息和第一坐标， 确定图像目标元素的点云坐标； 根据点云坐标和图像目标元素的语义类别， 生成 语义点云地图。 上述方法通过车辆现有的轮速计 和摄像机采集相关数据， 成本较低； 通过摄像机 坐标系下的坐标和位姿信息确定图像元素的点 云坐标， 只需要对摄像机做好内参标定与测距标 定即可， 实现简单。 权利要求书2页 说明书9页 附图2页 CN 115164918 A 2022.10.11 CN 115164918 A 1.一种语义 点云地图构建方法， 其特 征在于， 包括： 获取车辆的轮速计数据和摄像机采集的图像数据， 所述图像数据包括多帧图像， 所述 轮速计数据和所述多帧图像均有对应的时间戳； 按照时间先后顺序， 将所述轮速计数据和所述多帧图像进行融合， 得到所述多帧图像 中的每一帧图像的位姿信息； 确定每一帧图像中的图像目标元素在摄像机坐标系下的第 一坐标， 所述图像目标元素 为多种图像元 素中的部分图像元 素； 基于所述 位姿信息和所述第一 坐标， 确定所述图像目标 元素的点云坐标； 根据所述 点云坐标和所述图像目标 元素的语义类别， 生成语义 点云地图。 2.如权利要求1所述的语义点云地图构建方法， 其特征在于， 所述方法还包括： 将所述 轮速计数据和所述多帧图像录制成ROS  bag数据包； 所述按照 时间先后顺序， 将所述轮速计数据和所述多帧图像进行融合， 得到所述多帧 图像中的每一帧图像的位姿信息， 包括： 按照时间先后顺序从所述ROS  bag数据包读取ROS  bag数据， 将所述轮速计数据与所述 多帧图像在SLAM的框架下进行融合， 得到每一帧图像的位姿信息 。 3.如权利要求1所述的语义 点云地图构建方法， 其特 征在于， 所述方法还 包括： 读取所述多帧图像中的每一帧图像， 通过深度学习模型对该帧图像进行识别分割， 得 到该帧图像中每一像素对应的语义类别， 并基于所述语义类别生成MASK图像， 所述MASK图 像为与该帧图像具有相同大小的图像， 且MASK图像中的每个像素点的值表 示该帧图像中对 应位置像素点的语义； 其中， 所述语义类别包括以下一项或多项： 背景、 路面车道线、 指示箭头、 减速带、 斑马 线、 停止线、 车位线、 柱子和雪糕筒。 4.如权利要求3所述的语义点云地图构建方法， 其特征在于， 所述确定每一帧图像 中的 图像目标 元素在摄像机坐标系下的第一 坐标， 包括： 对某一帧图像， 读取 该帧图像对应的目标帧MASK图像； 对于所述目标帧MASK图像 中的每一像素点， 若该像素点对应的图像元素为所述图像目 标元素， 则根据该图像元 素在所述目标帧MASK图像中的第二 坐标确定所述第一 坐标； 基于所述第 一坐标确定该像素点是否位于感兴趣区域， 若不位于所述感兴趣区域则将 该像素点删除。 5.如权利要求4所述的语义点云地图构建方法， 其特征在于， 所述根据 该图像元素在所 述目标帧MASK图像中的第二 坐标确定所述第一 坐标， 包括： 该图像元 素的第二 坐标为pix(u,v)， 则第一 坐标coorcam(x,y,z)通过 计算得到， 其中 m11、m12、m21、m22、m31、m32为摄像机与车辆的外参。 6.如权利要求1所述的语义点云地图构建方法， 其特征在于， 所述基于所述位姿信 息和 所述第一 坐标， 确定所述图像目标 元素的点云坐标， 包括：权　利　要　求　书 1/2 页 2 CN 115164918 A 2获取当前帧图像的位姿信息； 根据当前帧图像的位姿信息和所述第一坐标， 通过 Pw=Tcam*Pcam计算图像目标元素的点 云坐标，Pcam为第一坐标，Tcam为位姿信息 。 7.如权利要求6所述的语义点云地图构建方法， 其特征在于， 所述根据 所述点云坐标和 所述图像目标 元素的语义类别， 生成语义 点云地图， 包括： 将所述图像目标 元素的语义类别赋值 为该点云的类别属性； 根据该点云的类别属性和点云坐标， 生成语义 点云地图。 8.一种语义 点云地图构建装置， 其特 征在于， 包括： 获取模块， 用于获取车辆的轮速计数据和摄像机采集的图像数据， 所述图像数据包括 多帧图像， 所述轮速计数据和所述多帧图像均有对应的时间戳； 位姿模块， 用于按照时间先后顺序， 将所述轮速计数据和所述多帧图像进行融合， 得到 所述多帧图像中的每一帧图像的位姿信息； 第一确定模块， 用于确定每一帧图像中的图像目标元素在摄像机坐标系下的第一坐 标， 所述图像目标 元素为多种图像元 素中的部分图像元 素； 第二确定模块， 用于基于所述位姿信息和所述第一坐标， 确定所述图像目标元素的点 云坐标； 生成模块， 用于根据所述点云坐标和所述图像目标元素的语义类别， 生成语义点云地 图。 9.一种终端设备， 包括存储器和 处理器， 所述存储器中存储有可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7任一 项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115164918 A 3