(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211077969.X (22)申请日 2022.09.05 (65)同一申请的已公布的文献号 申请公布号 CN 115147559 A (43)申请公布日 2022.10.04 (73)专利权人 杭州像衍科技有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路9 98号19幢6 03B室 (72)发明人 江博艺　陈鸿鹄　郭玉东　孙佳明　 张举勇　鲍虎军　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06T 17/00(2006.01)G06T 19/20(2011.01) G06N 3/08(2006.01) (56)对比文件 CN 114581571 A,202 2.06.03 WO 2022121220 A1,202 2.06.16 审查员 常津铭 (54)发明名称 基于神经隐式函数的三维人体参数化表示 方法及装置 (57)摘要 本发明公开了一种基于神经隐式函数的三 维人体参数化表示方法及装置。 本发 明基于神经 隐式函数的人体表示， 将由传统网格表示的三维 人体替换为由多层感知机表示的隐式函数， 通过 对空间采样点查询符号距离场， 可以对穿衣人体 实现极高的分辨率表示， 而不增加存储参数量。 此外， 基于神经线性混合蒙皮方法， 可 以自适应 的对穿衣人体的动作进行建模， 并保持逼真的衣 服形态。 本发 明方法可以仅使用一个统一的三维 人体参数化表 示， 利用三个低维向量参数化表示 人体不同的体型、 服装和姿态。 在使用阶段， 可以 通过仅修改低维向量来修改人体的属性， 并使用 统一的神经隐式表示来输出对应属性的三维人 体， 极大的提高了存 储与传输的效率。 权利要求书2页 说明书7页 附图4页 CN 115147559 B 2022.11.29 CN 115147559 B 1.一种基于神经隐式函数的三维人体参数化表示方法， 其特 征在于， 包括以下步骤： S1， 构造可 学习的用于表示人体属性的低维参数， 包括人体 体型、 服装、 姿态； S2， 构建不同体型、 穿着不同服装、 摆不同姿态的三维人体数据； S3， 构造基于体型多层感知机的体型神经 隐式函数， 用于从S2构建好的三维人体数据 中学习人体体型， 通过体型神经隐式函数使用S1的体型参数生成指 定体型的三维赤身人体 模型； S4， 基于S3生成的三维赤身人体模型， 构造基于服装多层感知机的服装神经隐式函数， 用于从S2构建好的三 维人体数据中学习穿衣人体体型， 通过服装神经隐式函数使用S1的服 装参数生成穿着指定服装的三维穿衣人体模型； S5， 基于S1的体型参数和服装参数， 构建基于姿态多层感知机的神经线性混合蒙皮场， 用于从S2构建好的三 维人体数据中学习带姿态的穿衣人体体型； 根据S1的体型参数和姿态 参数得到变形矩阵； 结合神经线性混合蒙皮场和 变形矩阵， 将S4生成的三维穿衣人体模型 变形为S1的姿态参数对应的三维人体模型； S6， 训练级联的体型多层感知机、 服装多层感知机和姿态多层感知机， 以及体型、 服装、 姿态参数， 得到训练好的三维人体参数化表示， 用于生成符合指定体型、 服装、 姿态的三维 人体模型； 训练过程中的损失函数 公式如下： 其中， 表示第i个人体数据的第 k个采样点的符号距离值， 作为监督项；   表示由 三个级联的多层感知机 计算得到的符号距离值； N表示训练三维人体模型总数， 表示每个 三维人体模型的采样点总数。 2.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法， 其特征在于， 步骤S2中， 采用使用物理仿真或者真实采集的三维人体数据， 三维人体数据需要预处理为 水密网格， 预 处理步骤包括： 对服装包含孔洞的人体数据补洞； 使用14个视角将三 维人体数 据渲染为深度图， 其中14个视角包括12个间隔30度环绕人体的视角， 和 头顶、 脚底的视角； 将14个深度图反投影为 点云并拼接； 使用泊松重建将完整点云重建为水密网格。 3.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法， 其特征在于， 步骤S3中， 对于任意空间采样点 x， 以体型参数为条件信息， 计算采样点的符号距离值， 体型 神经隐式函数记为： 其中， 表示体型多层感知机 中的可学习参数， 体型神经隐式函数 的输入包括空间 采样点x和体型参数 ； 为每个采样点 的符号距离值， 表示采样点到人体几何表面 的距 离； 通过计算采样点的符号距离值， 得到人体几何的符号距离场， 计算符号距离场的零等权　利　要　求　书 1/2 页 2 CN 115147559 B 2值面得到人体几何表面信息 。 4.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法， 其特征在于， 步骤S4中， 对于任意空间采样点 x， 以服装参数为条件信息， 计算赤身人体到穿衣人体的符 号距离值的变化 量 ， 服装神经隐式函数记为： 其中， 表示服装多层 感知机中的可学习参数， 服装神经隐式函数 的输入包括空间 采样点x、 体型参数 和服装参数 ； 为每个采样点从 赤身人体到穿衣人体的符号距离 值的变化 量。 5.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法， 其特征在于， 步骤S5中， 变形公式如下： 其中， 表示标准姿态下的采样点集合， 表示指定姿态参数下的采样点集合， i表 示特定的人体， j表示特定的关节， 为人体i关节j的变形矩阵， 表示关节 j的神经线性 混合蒙皮权重。 6.根据权利要求5所述的基于神经隐式函数的三维人体参数化表示方法， 其特征在于， 步骤S5中， 姿态由S1中的姿态参数 指定， 通过引入运动学树， 根据S1的姿态参数 和体型 参数 得到变形矩阵； 神经线性混合蒙皮权重 通过姿态多层感知机计算得到， 公式如 下： 其中， 表示姿态多层感知机中的可学习 参数， 神经线性混合蒙皮场 的输入包括空 间采样点 x、 体型参数 和服装参数 。 7.根据权利要求1所述的基于神经隐式函数的三维人体参数化表示方法， 其特征在于， 步骤S6中， 训练完毕后自主修改S1中的低维参数以实现体型、 服装、 姿态的编辑， 如果使用 连续的低维参数， 编辑结果 也是连续的。 8.根据权利要求7所述的基于神经隐式函数的三维人体参数化表示方法， 其特征在于， 步骤S6中， 用于编辑的低维参数由训练好的低维参数插值得到， 或者在训练好的低 维参数 分布中随机采样得到 。 9.一种基于神经隐式函数的三维人体参数化表示装置， 包括存储器和一个或多个处理 器， 所述存储器中存储有可执行代码， 其特征在于， 所述处理器执行所述可执行代码时， 用 于实现如权利要求1 ‑8中任一项所述的基于神经隐式函数的三维人体参数化表示方法。权　利　要　求　书 2/2 页 3 CN 115147559 B 3