(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211029148.9 (22)申请日 2022.08.25 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 吴进波　刘星　赵晨　丁二锐　 吴甜　王海峰　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 吕朝蕙 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/04(2011.01) G06T 15/20(2011.01) G06T 7/80(2017.01) (54)发明名称 材质恢复方法、 三维模 型的生成方法和模 型 的训练方法 (57)摘要 本公开提供了一种材质恢复方法、 三 维模型 的生成方法和模型的训练方法、 装置、 设备和介 质， 涉及人工智能领域， 具体涉及增强现实、 虚拟 现实、 计算机视觉和深度学习等技术领域， 可应 用于元宇宙等场景。 材质恢复方法的具体实现方 案为： 根据针对目标对象的体素数据， 生成目标 对象的网格模 型； 确定网格模型中的各网格在针 对目标对象的材质贴图上所对应的像素点的像 素位置； 以及将网格模型和像素位置输入材质估 计网络， 得到 针对目标对象的材质贴图。 权利要求书4页 说明书15页 附图7页 CN 115375847 A 2022.11.22 CN 115375847 A 1.一种材质恢复方法， 包括： 根据针对目标对象的体素 数据， 生成所述目标对象的网格模型； 确定所述网格模型中的各网格在针对所述目标对象的材质贴图上所对应的像素点的 像素位置； 以及 将所述网格模型和所述像素位置输入材质估计网络， 得到针对所述目标对象的材质贴 图。 2.根据权利要求1所述的方法， 其中， 所述根据针对目标对象的体素数据， 生成所述目 标对象的网格模型包括： 采用深度神经网络对所述体素数据进行处理， 得到多个空间采样点各自针对所述目标 对象的符号距离； 其中， 所述多个空间采样点是根据所述体素 数据确定的； 以及 根据所述多个空间采样点和所述符号距离， 采用等值面提取算法生成所述目标对象的 网格模型。 3.一种三维模型的生成方法， 包括： 根据针对目标对象的体素 数据， 生成针对所述目标对象的材质贴图； 以及 根据所述材质贴图和所述目标对象的网格模型， 生成所述目标对象的三维模型， 其中， 所述材质贴图是采用权利要求1～2中任一项所述的方法得到的； 所述网格模型 是根据所述体素 数据生成的。 4.一种材质恢 复模型的训练方法， 其中， 所述材质恢 复模型包括材质估计网络； 所述方 法包括： 根据包括目标对象的原始图像和针对所述原始图像的相机位姿， 生成所述目标对象的 网格模型； 确定所述网格模型中的各网格在所述原 始图像上 所对应的像素点的像素位置； 将所述网格模型和所述像素位置输入材质估计网络， 得到针对所述目标对象的材质贴 图； 根据所述材质贴图、 所述网格模型和所述相机位姿， 渲染得到包括所述目标对象的目 标图像； 以及 根据所述目标图像和所述原 始图像之间的差异， 对所述材质估计网络进行训练。 5.根据权利要求 4所述的方法， 还 包括： 根据所述网格模型和所述相机位姿， 渲染得到包括所述目标对象的参 考图像； 以及 根据所述目标对象在所述 参考图像中的位置， 生成针对所述目标对象的掩膜图像； 其中， 所述根据所述目标图像和所述原始图像之间的差异， 对所述材质估计网络进行 训练包括： 采用所述掩膜图像对所述目标图像和所述原始图像分别进行掩膜 处理， 得到掩膜 处理 后的第一图像和第二图像； 以及 根据所述第一图像和所述第二图像之间的差异， 对所述材质估计网络进行训练。 6.根据权利要求 4所述的方法， 还 包括： 确定所述材质贴图中各像素点的材质梯度； 以及 根据所述原始图像中第一像素点的颜色梯度和所述材质贴图中与所述第一像素点对 应的第二像素点的材质梯度， 对所述材质估计网络进行训练。权　利　要　求　书 1/4 页 2 CN 115375847 A 27.根据权利要求6所述的方法， 其中， 所述颜色梯度包括第 一方向的第 一梯度和第 二方 向的第二梯度； 所述材质梯度包括所述第一方向的第三梯度和所述第二方向的第四梯度； 所述第一方向与所述第二方向彼此垂直； 所述根据所述原始图像中第一像素点的颜色梯度 和所述材质贴图中与所述第一像素点对应的第二像素点的材质梯度， 对所述材质估计网络 进行训练包括： 根据所述第 一像素点的所述第 一梯度和所述第 二梯度， 分别确定针对所述第 一方向的 第一梯度权 重和针对所述第二方向的第二梯度权 重； 根据所述第 一梯度权重和所述第 二梯度权重， 确定所述第 二像素点的所述第 三梯度和 所述第四梯度的加权和； 以及 根据所述加权和， 对所述材质估计网络进行训练。 8.根据权利要求6所述的方法， 其中， 所述材质贴图中的各像素点包括以下材质信 息中 的至少两个信息： 漫反射颜色信息、 粗糙度信息和金属度信息； 所述确定所述材质贴图中各 像素点的材质梯度包括： 确定所述材质贴图中各像素点的所述至少两个信 息中每个信 息的梯度， 得到至少两个 梯度； 以及 根据所述至少两个梯度， 确定所述材质贴图中各像素点的材质梯度。 9.根据权利要求4所述的方法， 其中， 所述材质恢 复模型还包括用于估计符号距离的深 度神经网络； 所述根据包括 目标对象的原始图像和针对所述原始图像的相对位姿， 生成所 述目标对象的网格模型包括： 根据所述原始图像和所述相机位姿， 采样得到与 所述原始图像中的像素点对应的多个 空间采样点； 采用所述深度神经网络对基于所述多个空间采样点得到的体素数据进行处理， 得到所 述多个空间采样点各自针对所述目标对象的符号距离； 以及 根据所述多个空间采样点和所述符号距离， 采用等值面提取算法生成所述目标对象的 网格模型。 10.根据权利要求9所述的方法， 还 包括： 根据所述网格模型和所述相机位姿， 渲染得到包括所述目标对象的参 考图像； 以及 根据所述 参考图像和所述原 始图像之间的差异， 对所述深度神经网络进行训练。 11.一种材质恢复装置， 包括： 模型生成模块， 用于根据针对目标对象的体素 数据， 生成所述目标对象的网格模型； 像素位置确定模块， 用于确定所述网格模型中的各网格在针对所述目标对象的材质贴 图上所对应的像素点的像素位置； 以及 贴图获得模块， 用于将所述网格模型和所述像素位置输入材质估计网络， 得到针对所 述目标对象的材质贴图。 12.根据权利要求1 1所述的装置， 其中， 所述模型生成模块包括： 符号距离获得子模块， 用于采用估计符号距离的深度神经网络对所述体素数据进行处 理， 得到多个空间采样点各自针对所述目标对象的符号距离； 其中， 所述多个空间采样点是 根据所述体素 数据确定的； 以及 模型生成子模块， 用于根据所述多个空间采样点和所述符号距离， 采用等值面提取算权　利　要　求　书 2/4 页 3 CN 115375847 A 3