(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211058725.7 (22)申请日 2022.08.31 (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 (72)发明人 郑亚　温裕祥　程旭　魏记　徐飞　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 石朝清 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/00(2011.01) G06N 3/08(2006.01) G06T 15/04(2011.01) G06T 19/00(2011.01)G06F 9/451(2018.01) G06F 3/04817(2022.01) (54)发明名称 三维重建方法、 图形界面、 系统及相关装置 (57)摘要 本申请公开了三维重建方法、 图形界面、 系 统及相关装置， 在该方法中， 可 以利用目标场景 的图像或视频训练神经辐射场模 型， 得到目标场 景对应的隐式三维模型， 然后， 再将该隐式三维 模型转换为移动端设备能够实时渲染的显式三 维模型， 最后， 在移动端设备上可 以实时渲染在 某一视角下的该显式三维模型所呈现的画面。 可 以看出， 该方法实现了神经辐射场模 型训练得到 的三维模型能够在移动端设备的实时渲染， 用户 无需手动建模， 即可得到逼真的三维模型， 实现 了真正将三维重建引入大众视野。 权利要求书4页 说明书38页 附图25页 CN 115439606 A 2022.12.06 CN 115439606 A 1.一种三维重建方法， 所述方法应用于服 务器， 其特 征在于， 所述方法包括： 所述服务器获取针对目标场景的多张图像； 所述服务器根据 所述多张图像， 和， 拍摄所述多张图像时的相机位姿， 训练神经辐射场 模型， 得到隐式三 维模型； 其中， 所述隐式三 维模型的输入为所述目标场景中空间点的坐标 和观察方向， 输出为所述空间点的颜色和密度； 所述服务器将所述隐式三维模型转化为显式三维模型， 所述显式三维模型描述了所述 目标场景中部分空间点的密度和在不同观察方向下的颜色； 所述服务器将所述显式三维模型发送给第一设备。 2.根据权利要求1所述的方法， 其特征在于， 所述服务器将所述隐式三维模型转化为显 式三维模型， 具体包括： 所述服务器通过球谐函数表示所述 隐式三维模型中表征的观察方向和颜色之间的关 系， 一个所述球谐函数表示 一个空间点的不同观察方向和颜色之间的关系； 所述服务器过滤所述目标场景中的部分空间点， 以保留密度值大于预设值的所述部分 空间点， 所述目标场景中的空间点的密度值通过在所述隐式三维模型中输入所述空间点的 坐标得到； 所述服务器生成显式三维模型， 所述显式三维模型包含以下信息： 所述部分空间点的 密度， 以及， 所述部分空间点的球谐函数的系数。 3.根据权利要求1或2所述的方法， 其特征在于， 所述显式三维模型以八叉树的数据结 构存储所述信息， 所述八叉树包括多个节点， 一个所述节点对应于所述部分空间点中的一 个空间点， 一个所述节点存储有索引信息， 所述索引信息用于查找到所述节点对应的空间 点的密度， 以及， 所述节点对应的空间点的球谐函数的系数。 4.根据权利要求3所述的方法， 其特征在于， 所述显式三维模型实现为纹理贴图， 所述 纹理贴图包括： 索引 贴图、 模型参数贴图， 所述索引贴图的像素值用于指示节点的索引信 息， 所述模型参数贴图的像素值用于指示空间点的密度或球谐 函数的系数， 其中， 所述索引 贴图的一个像素值所指示的第一节点， 用于查找到所述模型参数贴图中的多个像素值所指 示的第一节点对应的第一空间点的密度， 以及， 所述第一空间点的球谐函数的系数。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 拍摄图像时的相机位姿由所述服 务器根据所述图像以及与所述图像相 邻的图像确定， 所述多张图像中的任意两张相邻图像 中包含预设比例的重 叠内容。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述服务器获取针对目标场景的 多张图像之后， 所述方法还 包括： 所述服务器根据 所述多张图像以及先验参数， 确定所述多 张图像中每一张图像对应的 相机位姿， 所述先验参数包括以下一项或多项： 拍摄所述图像的相机的位置、 姿态， 图像中 拍摄到的物体的位置， 所述图像的深度信息 。 7.根据权利要求1 ‑6任一项所述的方法， 其特 征在于， 所述服务器获取针对目标场景的多张图像， 具体包括： 所述服务器获取到所述第一设备采集的针对所述目标场景的多张图像； 或者， 所述服务器获取针对目标场景的多张图像之前， 所述方法还 包括：权　利　要　求　书 1/4 页 2 CN 115439606 A 2所述服务器获取到所述第 一设备采集的针对所述目标场景的视频， 所述多 张图像为所 述视频中的多帧图像。 8.一种三维重建方法， 其特 征在于， 所述方法应用于第一设备， 所述方法包括： 所述第一设备获取到服务器发送的显 式三维模型， 所述显 式三维模型为所述服务器对 隐式三维模型转化后得到的模型， 所述隐式三 维模型为根据目标场景的多张图像， 和， 拍摄 所述多张图像时的相机位姿， 训练神经辐射场模型得到， 其中， 所述隐式三 维模型的输入为 所述目标场景中空间点的坐标和观察方向， 输出为所述空间点的颜色和密度， 所述显式三 维模型描述了所述目标场景中部分空间点的密度和在不同观察方向下的颜色； 所述第一设备显示第一用户界面， 所述第一用户界面中显示有： 第一观察视角下所述 显式三维模型 所呈现的第一画面。 9.根据权利要求8所述的方法， 其特征在于， 所述第 一画面中的像素点的像素值由所述 显式三维模型描述的第一观察方向上的空间点的颜色和密度的积分得到， 所述第一观察方 向为在所述第一观察视角下， 观察所述像素点对应的空间点的方向。 10.根据权利要求8或9所述的方法， 其特 征在于， 所述方法还 包括： 所述第一设备检测到用户将所述第一观察视角调整为第二观察视角； 所述第一设备在所述第一用户界面中， 显示所述第二观察视角下， 所述显式三维模型 所呈现的第二画面。 11.根据权利要求8 ‑10任一项所述的方法， 其特征在于， 所述目标场景的多张图像为所 述第一设备采集的针对所述目标场景的多张图像； 或者， 所述方法还包括； 所述第一设备将采集的针对所述目标场景的视频发送给所述 服务器， 所述目标场景的多张图像为所述视频中的多帧图像。 12.根据权利要求11所述的方法， 其特征在于， 所述第 一设备将采集的针对所述目标场 景的多张图像或视频发送给 所述服务器之前， 所述方法还 包括： 所述第一设备显示包 含第一控 件的第二用户界面； 所述第一设备检测到作用于所述第一控 件的第一操作； 响应于所述第一操作， 所述第一设备启动摄像头并显示第三用户界面， 所述第三用户 界面包括： 第一预览框和第二控 件， 所述第一预览框用于实时显示所述摄 像头采集的图像； 所述第一设备检测到作用于所述第 二控件的第 二操作， 所述第 二操作用于触发所述第 一设备采集针对所述目标场景的多张图像或视频。 13.根据权利要求8 ‑12任一项所述的方法， 其特征在于， 所述第一用户界面还包括： 第 三控件， 所述第一设备显示第一用户界面之后， 所述方法还 包括： 所述第一设备检测到作用于所述第三控 件的第三操作； 响应于所述第三操作， 所述第一设备在所述第三用户界面中显示一个或多个模型图 标， 所述一个或多个模型图标包括所述第一模型图标； 所述第一设备检测到作用于所述第一模型图标的第四操作； 响应于所述第四操作， 所述第 一设备在所述第 一用户界面中添加所述第 一模型图标对 应的第一模型， 且， 在所述第一观察视角下， 所述第一设备在所述第一用户界面中显示添加 所述第一模型后的所述显式三维模型 所呈现的第三画面。 14.根据权利要求13所述的方法， 其特征在于， 所述电子设备显示所述第三画面之后，权　利　要　求　书 2/4 页 3 CN 115439606 A 3