(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210524657.2 (22)申请日 2022.05.13 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 季向阳　张晨阳光 　娄志强　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 实时三维场景重建方法及装置 (57)摘要 本申请公开了一种实时三维场景重建方法 及装置， 其中， 方法包括： 获取单目相机的相机内 参； 提取单目相机的目标图片的实际相机位姿和 由稀疏深度先验 得到的稀 疏深度点； 以及利用预 设三维场景重建网络， 基于由相机内参、 实际相 机位姿和稀疏深度点得到的融合时空信息生成 三维场景重建结果。 由此， 解决了相关技术中忽 视粗略稀 疏特征点的深度估计数据， 对空间信息 的利用不完善， 导致三维重建结果连续性、 准确 性较差， 且实用性较 差的技术问题。 权利要求书2页 说明书12页 附图4页 CN 115035240 A 2022.09.09 CN 115035240 A 1.一种实时三维场景重建方法， 其特 征在于， 包括以下步骤： 获取单目相机的相机内参； 提取所述单目相机的目标图片的实际相机位姿和由稀疏深度先验得到的稀疏深度点； 以及 利用预设三维场景重建网络， 基于由所述相机内参、 所述实 际相机位姿和所述稀疏深 度点得到的融合时空信息生成三维场景重建结果。 2.根据权利要求1所述的方法， 其特征在于， 所述利用预设三维场景重建网络， 基于由 所述相机内参、 所述 实际相机位姿和所述稀疏深度点得到的融合时空信息生成三 维场景重 建结果， 包括： 分别提取所述实际相机位姿和所述稀疏深度点的二维特征， 并分别反投影为对应的初 始局部三维特 征体素； 从所述稀疏深度点提取空间信息， 并融合所述空间信息和帧间时序特征联系， 得到局 部融合三维特征体素； 将所述局部融合 三维特征体素融合至全局， 得到最终的全局融合 三维特征体素； 基于所述最终的全局融合三维特征体素利用预设MLP网络得到所述三维场景重建结 果。 3.根据权利要求2所述的方法， 其特征在于， 分别提取所述实际相机位姿和所述稀疏深 度点的二维特 征之前， 还 包括： 计算所述稀疏深度点的归一 化置信度； 将所述稀疏深度点和所述归一 化置信度投影成对应的稀疏深度图及置信度； 由所述稀疏深度图及置信度得到所述稀疏深度先验。 4.根据权利要求2或3所述的方法， 其特 征在于， 所述局部融合 三维特征体素为： 其中， 为片段特征体素， F代表本申请实施例为将片段特征体素进行 融合的过程， 为得到的局部融合 三维特征体素。 5.根据权利要求2所述的方法， 其特征在于， 所述基于所述最终全局融合三维特征体素 利用预设MLP网络得到所述 三维场景重建结果， 包括： 基于所述最终全局融合三维特征体素， 利用所述预设MLP网络中级联的两个MLP层得到 估计的占用度栅格和场景TS DF体素； 根据所述占用度栅格和场景TS DF体素生成所述 三维场景重建结果。 6.一种实时三维场景重建装置， 其特 征在于， 包括： 获取模块， 用于获取 单目相机的相机内参； 提取模块， 用于提取所述单目相机的目标图片的实际相机位姿和由稀疏深度 先验得到 的稀疏深度点； 以及 重建模块， 用于利用预设三维场景重建网络， 基于由所述相机内参、 所述实际相机位姿 和所述稀疏深度点得到的融合时空信息生成三维场景重建结果。 7.根据权利要求6所述的装置， 其特 征在于， 所述重建模块包括：权　利　要　求　书 1/2 页 2 CN 115035240 A 2提取单元， 用于分别提取所述实 际相机位姿和所述稀疏深度点的二维特征， 并分别反 投影为对应的初始局部三维特 征体素； 第一融合单元， 用于从所述稀疏深度点提取空间信息， 并融合所述空间信息和帧间时 序特征联系， 得到局部融合 三维特征体素； 第二融合单元， 用于将所述局部融合三维特征体素融合至全局， 得到最终的全局融合 三维特征体素； 重建单元， 用于基于所述最终的全局融合三维特征体素利用预设MLP网络得到所述三 维场景重建结果。 8.根据权利要求7 所述的装置， 其特 征在于， 所述重建模块还 包括： 第一计算单 元， 用于计算所述稀疏深度点的归一 化置信度； 投影单元， 用于将所述稀疏深度点和所述归一化置信度投影成对应的稀疏深度图及置 信度； 第二计算单 元， 用于由所述稀疏深度图及置信度得到稀疏深度先验。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑5任一项所 述的实时三维场景重建方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑5任一项所述的实时三维场景重建方法。权　利　要　求　书 2/2 页 3 CN 115035240 A 3