(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210407112.3 (22)申请日 2022.04.19 (65)同一申请的已公布的文献号 申请公布号 CN 114511682 A (43)申请公布日 2022.05.17 (73)专利权人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 陈小雪　周谷越　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 潘红 (51)Int.Cl. G06T 17/20(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) 审查员 王宇莉 (54)发明名称 一种基于激光雷达的三 维场景重建方法、 装 置及电子设备 (57)摘要 本发明提供一种基于激光雷达的三维场景 重建方法、 装置及电子设备， 涉及计算机视觉技 术领域， 基于联合检测结果学习物体的隐式表达 函数， 重建得到紧密的物体表面， 实现对三维场 景准确、 完整的理解。 该方法包括： 获取目标区域 的点云数据； 基于注意力机制的神经网络对点云 数据进行联合检测， 获得联合检测结果； 联合检 测结果包括目标区域物体和目标区域布局； 基于 联合检测结果进行学习获得目标区域物体的隐 式表达函数； 基于隐式表达函数对目标区域物体 进行三维场景重建。 所述基于激光雷达的三维场 景重建装置应用于基于激光雷达的三维场景重 建方法。 所述基于激光雷达的三维场景重建方法 应用于电子设备中。 权利要求书2页 说明书12页 附图3页 CN 114511682 B 2022.07.15 CN 114511682 B 1.一种基于 激光雷达的三维场景重建方法， 其特 征在于， 包括： 步骤1： 获取目标区域的点云数据； 步骤2： 基于注意力机制的神经网络对所述点云数据进行联合检测， 获得联合检测结 果； 所述联合检测结果包括目标区域物体和目标区域布局； 步骤3： 基于所述联合检测结果进行 学习获得 所述目标区域物体的隐式表达函数； 步骤4： 基于所述隐式表达函数对所述目标区域物体进行三维场景重建； 所述步骤4： 基于所述隐式表达函数对所述目标区域物体进行三维场景重建， 包括： 步骤4.1： 基于所述隐式表达函数获得 所述目标区域物体的表面信息； 步骤4.2： 利用Marc hing Cubes算法提取 所述表面信息的三角面片； 步骤4.3： 将所述 三角面片进行还原， 以对所述目标区域物体的表面进行紧密重建； 所述步骤4.2： 利用Marc hing Cubes算法提取 所述表面信息的三角面片， 包括： 步骤4.2.1： 利用解码神经网络进行 预测获得占用函数； 步骤4.2.2： 基于所述占用函数， 利用Marching  Cubes算法提取所述表面信息的三角面 片。 2.根据权利要求1所述的一种基于激光雷达的三维场景重建方法， 其特征在于， 所述步 骤2： 基于注意力机制的神经网络对所述 点云数据进行 联合检测， 获得 联合检测结果， 包括： 步骤2.1： 对所述点云数据进行特征提取， 获得特征结果， 所述特征结果包括所述目标 区域全局点云的特 征信息； 步骤2.2： 获取目标 区域提议特征， 将所述目标区域提议特征和所述特征结果进行特征 融合， 获得特征融合结果； 所述 目标区域提议特征包括 目标区域物体提议特征和目标区域 布局提议特征； 步骤2.3： 将所述特征融合结果输入基于注意力机制的神经网络， 以进行联合检测， 获 得联合检测结果； 所述联合检测结果包括目标区域物体和目标区域布局。 3.根据权利要求2所述的一种基于 激光雷达的三维场景重建方法， 其特 征在于， 所述步骤2.1： 对所述 点云数据进行 特征提取， 获得 特征结果， 包括： 基于PointNet++网络对所述点云数据进行下采样和上采样， 并对采样结果进行预处 理， 以获得 所述特征结果； 所述步骤2.2： 获取目标 区域提议特征， 将所述目标区域提议特征和所述特征结果进行 特征融合， 获得特征融合结果； 所述 目标区域提议特征包括 目标区域物体提议特征和目标 区域布局提 议特征， 包括： 基于vote算法获取所述目标区域物体提议特征， 基于fps算法获取所述目标区域布局 提议特征， 基于Transformer网络将所述目标区域物体提议特征、 所述目标区域布局提议特 征和所述特 征结果进行 特征融合， 获得 所述特征融合结果。 4.根据权利要求1所述的一种基于激光雷达的三维场景重建方法， 其特征在于， 所述步 骤3： 基于所述联合检测结果进行 学习获得 所述目标区域物体的隐式表达函数； 包括： 步骤3.1： 将所述目标区域的点云数据对齐到标准坐标系中， 形成目标区域物体的点云 数据； 步骤3.2： 将所述目标区域物体的点云数据和所述目标区域物体提议输入多层神经网 络进行学习， 获得 形状特征；权　利　要　求　书 1/2 页 2 CN 114511682 B 2步骤3.3： 将所述形状特 征输入解码神经网络， 形成所述隐式表达函数。 5.一种基于 激光雷达的三维场景重建装置， 其特 征在于， 包括： 数据获取模块， 用于获取目标区域的点云数据； 联合检测模块， 用于基于注意力机制的神经网络对所述点云数据进行联合检测， 获得 联合检测结果； 所述联合检测结果包括目标区域物体和目标区域布局； 隐式函数模块， 用于基于所述联合检测结果进行学习获得所述目标区域物体的隐式表 达函数； 重建模块， 用于基于所述 隐式表达函数对所述目标区域物体进行三维场景重建， 所述 重建模块包括： 表面信息单 元， 用于基于所述隐式表达函数获得 所述目标区域物体的表面信息； 三角面片单元， 用于利用解码神经网络进行预测获得占用函数， 基于所述占用函数， 利 用Marching Cubes算法提取 所述表面信息的三角面片； 紧密重建单元， 用于将所述三角面片进行还原， 以对所述目标区域物体的表面进行紧 密重建。 6.根据权利要求5所述的一种基于激光雷达的三维场景重建装置， 其特征在于， 所述联 合检测模块包括： 特征提取单元， 用于对所述点云数据进行特征提取， 获得特征结果， 所述特征结果包括 所述目标区域全局点云的特 征信息； 提议特征单元， 用于获取目标区域提议特征， 将所述目标区域提议特征和所述特征结 果进行特征融合， 获得特征融合结果； 所述 目标区域提议特征包括 目标区域物体提议特征 和目标区域布局提 议特征； 联合检测单元， 用于将所述特征融合结果输入基于注意力机制的神经网络， 以进行联 合检测， 获得 联合检测结果； 所述联合检测结果包括目标区域物体和目标区域布局； 所述隐式函数模块包括： 变换单元， 用于将所述目标区域的点云数据对齐到标准坐标系中， 形成目标区域物体 的点云数据； 形状特征单元， 用于将所述目标区域物体的点云数据和所述目标区域物体提议输入多 层神经网络进行 学习， 获得 形状特征； 隐式函数 单元， 用于将所述形状特 征输入解码神经网络， 形成所述隐式表达函数。 7.一种电子设备， 包括总线、 收发器、 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述收发器、 所述存储器和所述处理器通过所述总线相连， 其特征在于， 所述计算机程序被所述处理器执行时实现如权利要求 1至4中任一项 所述的一 种基于激光雷达的三维场景重建方法中的步骤。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现如权利要求1至4中任一项所述的一种基于激光雷达的三维场景重建方 法中的步骤。权　利　要　求　书 2/2 页 3 CN 114511682 B 3