(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211022552.3 (22)申请日 2022.08.24 (71)申请人 北京京东乾石科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼19层 A1905室 (72)发明人 温欣　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 孙蕾 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/82(2022.01) G06T 3/00(2006.01) G06T 7/73(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 点云语义分割网络训练方法、 点云语义分割 方法及装置 (57)摘要 本公开提供了一种点云语义分割网络训练 方法、 点云语义分割方法、 装置、 电子设备和存储 介质， 可以应用于人工智 能技术领域。 该方法包 括： 将多组点云数据分别映射到初始视图中， 得 到多个环视投影图； 基于预设尺寸， 分别对第一 环视投影图和第二环视投影图进行分区处理， 得 到多个第一 分区图和多个第二分区图； 从多个第 一分区图中确定多个第一目标分区图； 利用多个 第一目标分区图中的每个第一目标分区图分别 对第二环视投影图中的第二目标分区图进行替 换， 得到混合投影图； 以及将第一环视投影图和 混合投影图作为训练样本来对初始网络进行训 练， 得到点云语义分割网络 。 权利要求书3页 说明书15页 附图5页 CN 115375899 A 2022.11.22 CN 115375899 A 1.一种点云语义分割网络训练方法， 包括： 将多组点云数据分别映射到初始视图中， 得到多个环视投影图； 基于预设尺寸， 分别对第一环视投影图和第二环视投影图进行分区处理， 得到多个第 一分区图和多个第二分区图， 其中， 所述第一环视投影图和所述第二环视投影图属于多个 所述环视投影图； 从多个所述第一分区图中确定多个第一目标分区图； 利用多个所述第一目标分区图中的每个所述第一目标分区图分别对所述第二环视投 影图中的第二目标分区图进 行替换， 得到 混合投影图， 其中， 所述第二目标分区图属于多个 所述第二分区图， 所述第一目标分区图与所述第二目标分区图的位置相同； 以及 将所述第一环视投影图和所述混合投影图作为训练样本来对初始网络进行训练， 得到 点云语义分割网络 。 2.根据权利要求1所述的方法， 其中， 所述将所述第 一环视投影图和所述混合投影图作 为训练样本来对初始网络进行训练， 得到点云语义分割网络， 包括： 分别将所述第 一环视投影图和所述混合投影图输入所述初始网络 中， 得到与 所述第一 环视投影图对应的第一特征图谱和 第一分割结果， 以及与所述混合投影图对应的第二特征 图谱和第二分割结果； 计算所述第一特 征图谱和所述第二特 征图谱之间的信息熵损失， 得到第一损失值； 计算所述第一分割结果和所述第二分割结果之间的交叉熵损 失， 得到第二损 失值； 以 及 利用所述第 一损失值和第 二损失值来调 整所述初始网络的模型参数， 以最终得到所述 点云数据语义分割网络 。 3.根据权利要求2所述的方法， 其中， 所述计算所述第 一特征图谱和所述第 二特征图谱 之间的信息熵损失， 得到第一损失值， 包括： 从所述第一特 征图谱中确定与多个所述第一目标分区图相关的第一子特 征图谱； 将所述第二特征图谱拆分为与多个所述第一目标分区图相关的第二子特征图谱和与 多个所述第一目标分区图无关的第三子特 征图谱； 以及 在所述第一子特征图谱的置信概率大于预设阈值的情况下， 以所述第 一子特征图谱和 所述第二子特征图谱作为正样本对， 以所述第一子特征图谱和所述第三子特征图谱作为负 样本对， 计算所述 正样本对和所述负 样本对之间的信息熵损失， 得到所述第一损失值。 4.根据权利要求2所述的方法， 其中， 所述计算所述第 一分割结果和所述第 二分割结果 之间的交叉熵损失， 得到第二损失值， 包括： 从所述第一分割结果中确定与多个所述第一目标分区图相关的第一子分割结果； 从所述第二分割结果中确定与多个所述第一目标分区图相关的第二子分割结果； 基于所述第 一子分割结果的置信概率和所述第 二子分割结果的置信概率， 确定预测值 和标签值； 以及 计算所述预测值和所述标签值之间的交叉熵损失， 得到所述第二损失值。 5.根据权利要求4所述的方法， 其中， 所述基于所述第 一子分割结果的置信概率和所述 第二子分割结果的置信概 率， 确定预测值和标签值， 包括： 在所述第一子分割结果的置信概率大于所述第 二子分割结果的置信概率的情况下， 确权　利　要　求　书 1/3 页 2 CN 115375899 A 2定所述第一子分割结果 为所述标签值， 所述第二子分割结果 为所述预测值； 以及 在所述第一子分割结果的置信概率小于所述第 二子分割结果的置信概率的情况下， 确 定所述第一子分割结果 为所述预测值， 所述第二子分割结果 为所述标签值。 6.根据权利要求2所述的方法， 其中， 多个所述第一目标分区图中包括第三目标分区 图， 所述第三目标分区图具有真实标签； 其中， 所述计算所述第一分割结果和所述第二分割结果之间的交叉熵损 失， 得到第二 损失值， 包括： 从所述第一分割结果中确定与所述第 三目标分区图相关的第 三子分割结果， 和与 所述 第三目标分区图无关且与多个所述第一目标分区图相关的第四子分割结果； 从所述第二分割结果中确定与所述第 三目标分区图相关的第五子分割结果， 和与 所述 第三目标分区图无关且与多个所述第一目标分区图相关的第六子分割结果； 计算所述第三子分割结果和所述真实标签之间的交叉熵损失， 得到第三损失值； 计算所述第四子分割结果和所述第六子分割结果之间的交叉熵损失， 得到第四损失 值； 以及 基于所述第三损失值和所述第四损失值， 确定所述第二损失值。 7.根据权利要求2所述的方法， 其中， 所述初始网络包括编码器和解码器； 其中， 所述分别将所述第一环视投影图和所述混合投影图输入所述初始网络中， 得到 与所述第一环视投影图对应的第一特征图谱和 第一分割结果， 以及与所述混合投影图对应 的第二特 征图谱和第二分割结果， 包括： 分别将所述第 一环视投影图和所述混合投影图输入所述编码器， 得到与所述第 一环视 投影图对应的第一图像特 征和与所述混合投影图对应的第二图像特 征； 以及 分别将所述第 一图像特征和所述第 二图像特征输入所述解码器， 得到与所述第 一环视 投影图对应的所述第一特征图谱和所述第一分割结果， 以及与所述混合投影图对应的所述 第二特征图谱和所述第二分割结果。 8.根据权利要求1所述的方法， 其中， 所述将多组点云数据分别映射到初始视 图中， 得 到多个环视投影图， 包括： 对于每组所述点云数据， 分别对所述点云数据中每个点的三维坐标数据进行极坐标转 换， 以得到所述 点云数据中每 个点的极坐标 数据； 基于所述点云数据中每个点的极坐标数据， 将所述点云数据中的多个点分别映射到所 述初始视图的多个栅格中； 对于所述初始视 图的每个栅格， 基于所述栅格中的点的三维坐标数据和极坐标数据， 确定所述 栅格的特 征数据； 以及 基于多个所述 栅格的特 征数据， 构建得到所述环视投影图。 9.一种点云语义分割方法， 包括： 将目标点云数据映射到初始视图中， 得到环视投影图； 以及 将所述环视投影图输入点云语义分割网络中， 得到所述目标点云数据的语义分割特征 图谱； 其中， 所述点云语义分割网络包括利用根据权利要求1～8中任一项所述的点云语义分 割网络训练方法训练得到 。权　利　要　求　书 2/3 页 3 CN 115375899 A 3