(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211443259.4 (22)申请日 2022.11.18 (71)申请人 苏州浪潮智能科技有限公司 地址 215128 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 孙红岩　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 杨明月 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/20(2011.01) G06T 7/90(2017.01) G06N 3/04(2006.01) (54)发明名称 模型构建方法、 重建方法、 装置、 电子设备及 存储介质 (57)摘要 本申请提供一种模型构建方法、 重建方法、 装置、 电子设备及存储介质， 涉及深度学习技术 领域， 该方法包括： 得到训练好的目标SMPL模型， 基于目标SMPL模型得到目标正视预测模型及 目 标后视预测模 型， 基于目标正视预测模型及目标 后视预测模 型得到目标体内外识别模 型， 最后基 于以上几个模型及图像三维可视化模型构建出 穿衣人体三维模 型， 由此构建出的穿衣人体三维 模型包括SMPL参数维度、 正视维度、 后视维度及 人体表面内外点维度的多种不同层次的维度特 征， 进而构建出的穿衣人体三维模 型可以在存在 多人的复杂场景 下恢复穿衣人体的模型重建。 权利要求书4页 说明书17页 附图3页 CN 115496864 A 2022.12.20 CN 115496864 A 1.一种穿衣人体三维模型构建方法， 其特 征在于， 包括： 基于预设人体姿态图像训练数据对初始SMPL模型进行训练， 得到训练好的目标SMPL模 型； 基于所述训练好的目标SMPL模型对初始正视预测模型及初始后视预测模型进行训练， 得到训练好的目标正视预测模型及目标后视预测模型， 其中， 所述 目标正视预测模型用于 构建出目标三 维体素阵列对应的目标正视穿衣人体3D预测模 型， 所述目标后视预测模型用 于构建出目标三 维体素阵列对应的目标后视穿衣人体3D预测模型， 所述目标三维体素阵列 是通过所述目标SMPL模型对所述预设人体姿态图像训练数据进行处 理得到的； 基于所述目标正视预测模型及所述目标后视预测模型对初始体内外识别模型进行训 练， 得到训练好的目标体内外识别模型， 其中， 所述目标体内外识别模型用于区分出所述目 标正视穿衣人体3D预测模型及所述目标后视穿衣人体3D预测模型中位于体内或体外的采 样点； 基于所述目标SMPL模型、 所述目标正视预测模型、 所述目标后视预测模型、 所述目标体 内外识别模型及图像三维可视化模型构建出穿衣人体三维模型， 其中， 所述穿衣人体三维 模型用于 重建出待重建的穿衣人体姿态图像数据对应的穿衣人体3D模型。 2.根据权利要求1所述的穿衣人体三维模型构建方法， 其特征在于， 所述预设人体姿态 图像训练数据包括3D人体姿态图像训练数据及2D人体姿态图像训练数据； 所述基于预设人体姿态图像训练数据对初始SMPL模型进行训练， 得到训练好的目标 SMPL模型， 包括： 基于所述3D人体姿态图像训练数据对初始SMPL模型进行第一阶段训练， 得到初级SMPL 模型； 基于所述2D人体姿态图像训练数据对所述初级SMPL模型进行第二阶段训练， 得到训练 好的目标SMPL模型。 3.根据权利要求2所述的穿衣人体三维模型构建方法， 其特征在于， 所述基于所述2D人 体姿态图像训练数据对所述初级SMPL模型进行第二阶段训练， 得到训练好的目标SMPL模 型， 包括： 将所述2D人体姿态图像训练数据输入所述初级SMPL模型， 获取所述初级SMPL模型输出 的初级3D人体姿态图像预测数据； 获取所述初级3D人体姿态图像预测数据对应的相机参数及全局转动参数， 基于所述相 机参数及全局转动参数将所述初级3D人体姿态图像预测数据映射为2D人体姿态图像预测 数据； 计算出所述2D人体姿态图像预测数据与所述2D人体姿态图像训练数据之间的2D回归 损失， 基于所述2D回归损失对 所述初级S MPL模型进行迭代更新， 直至第二阶段训练结束， 得 到训练好的目标SMPL模型。 4.根据权利要求2所述的穿衣人体三维模型构建方法， 其特征在于， 所述基于所述3D人 体姿态图像训练数据对初始SMPL模型进行第一阶段训练， 得到初级SMPL模型， 包括： 将所述3D人体姿态图像训练数据输入所述初始SMPL模型， 获取所述初始SMPL模型输出 的SMPL姿态参数、 SMPL形态参数、 全局转动参数及相机参数； 基于所述SMPL姿态参数、 所述SMPL形态参数、 所述全局转动参数及所述相机参数获取权　利　要　求　书 1/4 页 2 CN 115496864 A 2所述初始SMPL模型重建出的初始3D人体姿态图像预测数据； 基于所述SMPL姿态参数、 所述SMPL形态参数、 所述全局转动参数、 所述相机参数及所述 初始3D人体姿态图像预测数据计算出3D回归损失； 基于所述3D回归损失对所述初始SMPL模型进行迭代更新， 直至第一阶段训练结束， 得 到训练好的初级SMPL模型。 5.根据权利要求4所述的穿衣人体三维模型构建方法， 其特征在于， 所述基于所述SMPL 姿态参数、 所述S MPL形态参数、 所述全局转动参数、 所述相机参数及所述初始3D人体姿态图 像预测数据计算出3D回归损失的计算公式为： 其中， 为SMPL姿态参数对应的3D 回归损失， 为SMPL形态参数对应的3D 回归损 失， 为全局转动参数对应的3D回归损失， 为3D人体姿态对应的3D回归损失， 为相机参数对应的3D回归损失。 6.根据权利要求1所述的穿衣人体三维模型构建方法， 其特征在于， 所述基于所述训练 好的目标S MPL模型对初始 正视预测模型及初始后视预测模 型进行训练， 得到训练好的目标 正视预测模型及目标后视预测模型， 包括： 获取所述训练好的目标SMPL模型输出的预测三维体素阵列； 从所述预测三维体素阵列中分解出预测正视体素阵列及预测后视体素阵列， 并基于所 述预测正视体素阵列对初始 正视预测模型进 行训练， 基于所述预测 后视体素阵列对初始后 视预测模型进行训练， 得到训练好的目标正视预测模型及目标后视预测模型。 7.根据权利要求6所述的穿衣人体三维模型构建方法， 其特征在于， 所述基于所述预测 正视体素阵列对初始正视预测模型进行训练， 包括： 将所述预测正视体素阵列输入初始正视预测模型， 获取所述初始正视预测模型输出的 正视穿衣人体3D预测模型； 将所述正视穿衣人体3D预测模型输入预设微分渲染器， 获取所述预设微分渲染器渲染 后的正视穿衣人体预测图像； 基于所述 正视穿衣人体预测图像对初始正视预测模型进行训练。 8.根据权利要求6所述的穿衣人体三维模型构建方法， 其特征在于， 所述基于所述预测 后视体素阵列对初始后视预测模型进行训练， 包括： 将所述预测后视体素阵列输入初始后视预测模型， 获取所述初始后视预测模型输出的 后视穿衣人体3D预测模型； 将所述后视穿衣人体3D预测模型输入预设微分渲染器， 获取所述预设微分渲染器渲染 后的后视穿衣人体预测图像； 基于所述后视穿衣人体预测图像对初始后视预测模型进行训练。 9.根据权利要求1所述的穿衣人体三维模型构建方法， 其特征在于， 所述基于所述目标 正视预测模型及所述目标后视预测模型对初始体内外识别模型进 行训练， 得到训练好的目 标体内外识别模型， 包括：权　利　要　求　书 2/4 页 3 CN 115496864 A 3