(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211051184.5 (22)申请日 2022.08.31 (65)同一申请的已公布的文献号 申请公布号 CN 115147558 A (43)申请公布日 2022.10.04 (73)专利权人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 吴进波　刘星　赵晨　丁二锐　 吴甜　王海峰　 (74)专利代理 机构 北京市汉坤律师事务所 11602 专利代理师 姜浩然　吴丽丽 (51)Int.Cl. G06T 17/00(2006.01)G06T 15/00(2011.01) G06T 19/20(2011.01) G06T 7/66(2017.01) (56)对比文件 CN 114140510 A,202 2.03.04 CN 114742966 A,2022.07.12 CN 113902848 A,202 2.01.07 US 10818071 B1,2020.10.27 审查员 周晓童 (54)发明名称 三维重建模 型的训练方法、 三 维重建方法及 装置 (57)摘要 本公开提供了一种三维重建模型的训练方 法、 三维重建方法及装置， 涉及人工智 能技术领 域， 具体为增强现实、 虚拟现实、 计算机视觉、 深 度学习等技术领域， 可应用于虚拟形象生成、 元 宇宙等场景。 实现方案为： 获取样本物体的样本 图像和图像采集设备在采集样本图像时的位姿 信息； 基于位姿信息， 确定样本图像的射线信息； 将射线信息输入三维重建模型， 以得到样本物体 的符号距离场； 至少将符号距离场输入渲染模 型， 以得到渲染图像； 基于渲染图像与样本图像 的差异， 确定颜色损失； 对于每条第一射线， 基于 该第一射线上的多个采样点的符号距离值， 确定 该第一射线的累积法向量； 基于任一第一射线与 其周围射线的累积法向量的差异， 确定几何损 失； 基于颜色损失和 几何损失， 调整三维重建模 型的参数。 权利要求书3页 说明书15页 附图6页 CN 115147558 B 2022.12.02 CN 115147558 B 1.一种三维重建模型的训练方法， 包括： 获取样本物体的样本图像和图像采集设备在采集所述样本图像时的位姿信息； 基于所述位姿信 息， 确定所述样本图像的射线信息， 其中， 所述射线信息指示多条第一 射线， 所述多条第一射线与所述样本图像的多个像素分别对应， 每条第一射线包括多个采 样点； 将所述射线信 息输入三维重建模型， 以得到所述三维重建模型输出的所述样本物体的 符号距离场， 其中， 所述符号距离场包括每条第一 射线上的多个采样点各自的符号距离值； 至少将所述符号距离场输入渲染模型， 以得到所述 渲染模型输出的渲染图像； 基于所述 渲染图像与所述样本图像的差异， 确定颜色损失； 对于所述多条第一射线中的每条第 一射线， 对于该第 一射线上的多个采样点中的每个 采样点， 基于该采样点及其周围采样点的符号距离值， 确定该采样点的符号距离值的梯度； 以及将所述多个采样点的梯度的加权和作为该第一射线的累积法向量， 其中， 所述累积法 向量指示相应 像素对应的所述样本物体的表面 点的法向量； 基于所述多条第一射线中的任一第 一射线与其周围射线的累积法 向量的差异， 确定几 何损失； 以及 基于所述颜色损失和所述几何损失， 调整所述 三维重建模型的参数。 2.根据权利要求1所述的方法， 其中， 所述多条第 一射线中的每条第 一射线为由所述图 像采集设备指向相应 像素的射线。 3.根据权利要求1所述的方法， 其中， 所述三维重建模型还被配置为输出所述样本物体 的颜色场， 所述颜色场包括每条第一射线 上的多个采样点各自的颜色特征， 并且其中， 所述 至少将所述符号距离场输入渲染模型， 以得到所述 渲染模型输出的渲染图像包括： 将所述符号距离场和所述颜色场输入渲染模型， 以得到所述渲染模型输出的渲染图 像。 4.根据权利要求1所述的方法， 其中， 所述多个采样点中的任一采样点的权重与该采样 点的符号距离值的平方负相关。 5.根据权利要求1所述的方法， 其中， 所述位姿信息包括所述图像采集设备的第一位 置， 所述方法还 包括： 对所述第一 位置添加扰动， 以生成所述图像采集设备的第二 位置； 以及 对于所述多条第一射线中的每条第一射线， 以所述第二位置为原点， 以该第一射线的 方向为方向， 生成第二 射线， 将所述第二 射线作为该第一 射线的周围射线。 6.根据权利要求5所述的方法， 其中， 对所述第一位置添加扰动， 以生成所述图像采集 设备的第二 位置包括： 对所述第 一位置添加高斯噪声， 以生成所述图像采集设备的第二位置， 其中， 所述高斯 噪声的标准差是基于所述样本物体的表面纹 理情况确定的。 7.一种三维重建方法， 包括： 获取待重建物体的图像和图像采集设备在采集所述图像时的位姿信息； 根据所述图像和所述位姿信息， 基于三维重建模型， 得到所述待重建物体的符号距离 场， 其中， 所述 三维重建模型 是基于权利要求1 ‑6中任一项所述的方法训练得到的； 以及 基于所述符号距离场， 生成所述待重建物体的三维模型。权　利　要　求　书 1/3 页 2 CN 115147558 B 28.一种三维重建模型的训练装置， 包括： 获取模块， 被配置为获取样本物体的样本图像和图像采集设备在采集所述样本图像时 的位姿信息； 第一确定模块， 被配置为基于所述位姿信息， 确定所述样本 图像的射线信息， 其中， 所 述射线信息指示多条第一射线， 所述多条第一射线与所述样本图像的多个像素分别对应， 每条第一 射线包括多个采样点； 重建模块， 被配置为将所述射线信息输入三维重建模型， 以得到所述三维重建模型输 出的所述样本物体的符号距离场， 其中， 所述符号距离场包括每条第一射线上 的多个采样 点各自的符号距离值； 渲染模块， 被配置为至少将所述符号距离场输入渲染模型， 以得到所述渲染模型输出 的渲染图像； 第一损失模块， 被 配置为基于所述 渲染图像与所述样本图像的差异， 确定颜色损失； 第二确定模块， 被配置为对于所述多条第一射线中的每条第一射线， 基于该第一射线 上的多个采样点的符号距离值， 确定该第一射线的累积法向量， 其中， 所述累积法向量指示 相应像素对应的所述样本物体的表面 点的法向量， 所述第二确定模块包括： 确定单元， 被配置为对于所述多个采样点中的每个采样点， 基于该采样点及其周围采 样点的符号距离值， 确定该采样点的符号距离值的梯度； 以及 累积单元， 被配置为将所述多个采样点的梯度的加权和作为该第一射线的累积法向 量； 第二损失模块， 被配置为基于所述多条第 一射线中的任一第 一射线与其周围射线的累 积法向量的差异， 确定几何损失； 以及 调整模块， 被配置为基于所述颜色损 失和所述几何损 失， 调整所述三维重建模型的参 数。 9.根据权利要求8所述的装置， 其中， 所述多条第 一射线中的每条第 一射线为由所述图 像采集设备指向相应 像素的射线。 10.根据权利要求8所述的装置， 其中， 所述三维重建模型还被配置为输出所述样本物 体的颜色场， 所述颜色场包括每条第一射线 上的多个采样点各自的颜色特征， 并且其中， 所 述渲染模块进一 步被配置为： 将所述符号距离场和所述颜色场输入渲染模型， 以得到所述渲染模型输出的渲染图 像。 11.根据权利要求8所述的装置， 其中， 所述多个采样点中的任一采样点的权重与该采 样点的符号距离值的平方负相关。 12.根据权利要求8所述的装置， 其中， 所述位姿信息包括所述图像采集设备的第一位 置， 所述装置还 包括： 扰动模块， 被配置为对所述第 一位置添加扰动， 以生成所述图像采集设备的第 二位置； 以及 生成模块， 被配置为对于所述多条第一射线中的每条第一射线， 以所述第二位置为原 点， 以该第一射线的方向为方向， 生成第二射线， 将所述第二射线作为该第一射线的周围射 线。权　利　要　求　书 2/3 页 3 CN 115147558 B 3