(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210629730.2 (22)申请日 2022.06.06 (71)申请人 中国电建集团中南勘测设计 研究院 有限公司 地址 410014 湖南省长 沙市雨花区香樟东 路16号 (72)发明人 谭可成　刘昊　何维　刘承照　 许强红　 (74)专利代理 机构 长沙正奇专利事务所有限责 任公司 431 13 专利代理师 卢宏　曾利平 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/42(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06T 7/73(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型结构、 模型训练方法、 单体化方法、 设备 及介质 (57)摘要 本发明公开了一种模型结构、 模型训练方 法、 单体化方法、 设备及介质， 该模型训练方法包 括获取大场景地物的原始三维点 云数据； 将所述 原始三维点 云数据制作成标准样 本格式文件； 对 所述标准样本格式文件中的点云样本进行预处 理， 生成PKL格式样本文件； 构建大场景地物单体 化模型， 所述大场景地物单体化模 型包括编码模 块、 骨干网络、 目标生成模块、 特征融合模块、 Point‑RoIAlign模 块和实例预测网络； 利用所述 PKL格式样本文件中的点 云样本对所述大场景地 物单体化模 型进行训练， 得到训练好的大场景地 物单体化模 型。 本发明通过最小化匹配代价函数 来实现单个地物的预测， 并通过point  mask预测 来实现最终的地物分割， 有效消除了聚类等传统 处理手段的缺陷。 权利要求书4页 说明书10页 附图5页 CN 114882224 A 2022.08.09 CN 114882224 A 1.一种模型的结构， 其特 征在于， 包括： 编码模块， 用于将PKL格式的大场景地物点云编码成输入向量； 骨干网络， 用于对所述输入向量进行 特征提取， 得到第一特 征向量； 目标生成模块， 用于对所述第 一特征向量进行特征提取， 得到全局特征向量， 对所述全 局特征向量进 行特征提取， 得到第二特征向量； 对 所述第二特征向量进 行计算， 得到第三特 征向量， 对所述第三特征向量中每个元素进 行归一化处理， 得到每个候选框的置信度分数； 对所述第二特征向量进 行计算， 得到第五特征向量， 其中所述第五特征向量的每(1,6)维表 示候选框的最大坐标点和最小坐标点； 将候选框的最大坐标点、 最小坐标点以及对应的置 信度分数进行拼接得到候选 框的参数向量； 特征融合模块， 用于对所述第 一特征向量进行特征提取， 得到第六特征向量； 对所述第 六特征向量与所述全局特 征向量进行拼接、 特 征提取， 得到第八特 征向量； Point‑RoIAlign模块， 用于对所述候选框的参数向量和第八特征向量进行坐标映射处 理， 得到每 个候选框对应的点云集 合； 实例预测网络， 用于根据所述Point ‑RoIAlign模块输出的每个候选框的点云集合输出 单个地物的预测点云集 合。 2.如权利要求1所述的模型的结构， 其特 征在于： 所述骨干网络采用RandLA ‑Net结构。 3.如权利要求1所述的模型的结构， 其特征在于： 所述目标生成模块包括第 一特征提取 层、 第二特 征提取层、 预测分支、 回归分支以及拼接层； 所述第一特征提取层包括1个MLP层， 第一特征提取层利用1个MLP层对所述第一特征向 量进行特征提取， 得到全局特 征向量； 所述第二特征提取层包括2个MLP层， 第二特征提取层利用2个MLP层对所述全局特征向 量进行特征提取， 得到第二特 征向量； 所述预测分支包括第 一全连接层和第 一激活层， 通过所述第 一全连接层对所述第 二特 征向量进行计算， 得到第三特征向量， 通过所述第一激活层对所述第三特征向量中每个元 素进行归一 化处理， 得到每 个候选框的置信度分数； 所述回归分支包括第 二全连接层， 通过所述第 二全连接层对所述第 二特征向量进行计 算， 得到第五特 征向量； 所述拼接层， 用于将候选框的最大坐标点、 最小坐标点以及对应的置信度分数进行拼 接得到候选 框的参数向量。 4.如权利要求1所述的模型的结构， 其特征在于： 所述特征融合模块包括第 三特征提取 层、 拼接层和第四特 征提取层； 所述第三特征提取层包括2个MLP层， 第三特征提取层利用1个MLP层对所述第一特征向 量进行特征提取， 得到点特征向量， 再利用另1个MLP层 对所述点特征向量进 行特征提取， 得 到第六特征向量； 所述拼接层， 用于对所述第六特征向量与所述全局特征向量进行拼接， 得到第七特征 向量； 第四特征提取层包括2个MLP层， 第四特征提取层利用2个MLP层对所述第七特征向量进 行深度特 征提取， 得到第八特 征向量。 5.如权利要求1～4中任一项所述的模型的结构， 其特征在于： 所述实例预测网络包括权　利　要　求　书 1/4 页 2 CN 114882224 A 2第五特征提取层、 Mask预测分支和实例输出层； 所述第五特征提取层采用PointNet网络结构， 利用PointNet网络结构对所述Point ‑ RoIAlign模块输出的候选 框的点云集 合进行特征提取， 得到第九特 征向量； 所述Mask预测分支包括MLPs层和第二激活层， 通过MLP s层和第二激活层对所述第九特 征向量进行计算， 得到地物的预测mask； 所述实例输出层， 用于利用预测mask剔除所述第九特征向量中的噪声点， 得到第十特 征向量； 通过MLPs层和第三激活层 对所述第十特征向量进 行计算得到每个地物的置信度分 数， 选择置信度分数最高的类别作为地物的预测类别， 并输出不同类别地物的预测 点云集 合。 6.一种大场景地物单体化模型训练方法， 其特 征在于， 包括以下步骤： 获取大场景地物的原 始三维点云数据； 将所述原 始三维点云数据制作成标准样本格式文件； 对所述标准样本格式文件中的点云样本进行 预处理， 生成PKL格式样本文件； 构建大场景地物单体化模型， 所述大场景地物单体化模型包括： 编码模块， 用于将PKL格式的大场景地物点云编码成输入向量； 骨干网络， 用于对所述输入向量进行 特征提取， 得到第一特 征向量； 目标生成模块， 用于对所述第 一特征向量进行特征提取， 得到全局特征向量， 对所述全 局特征向量进 行特征提取， 得到第二特征向量； 对 所述第二特征向量进 行计算， 得到第三特 征向量， 对所述第三特征向量中每个元素进 行归一化处理， 得到每个候选框的置信度分数； 对所述第二特征向量进 行计算， 得到第五特征向量， 其中所述第五特征向量的每(1,6)维表 示候选框的最大坐标点和最小坐标点； 将候选框的最大坐标点、 最小坐标点以及对应的置 信度分数进行拼接得到候选 框的参数向量； 特征融合模块， 用于对所述第 一特征向量进行特征提取， 得到第六特征向量； 对所述第 六特征向量与所述全局特 征向量进行拼接、 特 征提取， 得到第八特 征向量； Point‑RoIAlign模块， 用于对所述候选框的参数向量和第八特征向量进行坐标映射处 理， 得到每 个候选框对应的点云集 合； 实例预测网络， 用于根据所述Point ‑RoIAlign模块输出的每个候选框的点云集合输出 单个地物的预测点云集 合； 利用所述PKL格式样本文件中的点云样本对所述大场景地物单体化模型进行训练， 得 到训练好的大场景地物单体化模型。 7.如权利要求6所述的大场景地物单体化模型训练方法， 其特征在于， 将所述原始三维 点云数据制作成标准样本格式文件的具体实现过程 为： 将所述原始三维点云数据导入CloudCompare软件中， 利用CloudCompare软件的裁剪功 能手动分割出每 个真实地物； 对每个所述真实地物标注分类标签mask， 将所有带分类标签mask的真实地物合并， 并 导出txt格式点云文件； 将所述txt格式点云文件转换成Senmantic3d数据集格式， 得到所述标准样本格式文 件。 8.如权利要求6所述的大场景地物单体化模型训练方法， 其特征在于， 对所述标准样本权　利　要　求　书 2/4 页 3 CN 114882224 A 3