(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210790323.X (22)申请日 2022.07.06 (71)申请人 杭州倚澜科技有限公司 地址 311200 浙江省杭州市萧 山区经济技 术开发区明星路371号1幢1413室 (72)发明人 戴翘楚　吴翼天　曹静萍　 (51)Int.Cl. G06T 7/50(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像驱动的数字化人体模型构建方法 (57)摘要 本发明公开了基于图像驱动的数字化人体 模型构建方法， 包括使用成像设备进行人体拍 摄， 得到人体在不同姿势下的图像； 将得到的图 像与标准化的人体参数化模型进行对齐， 得到对 齐后的形状姿势参数； 构建初始神经网络并进行 训练， 得到将 对齐后的模型图像向三维模型转换 的神经网络； 将拍摄得到的单视角RGB ‑D序列导 入训练后的神经网络中得到动态人体三维模型 序列。 权利要求书2页 说明书5页 附图1页 CN 114998405 A 2022.09.02 CN 114998405 A 1.基于图像驱动的数字化人体模型构建方法， 其特 征在于， 所述方法包括： S1， 使用成像设备进行 人体拍摄， 得到人体在不同姿势下的图像； S2， 将得到的图像与标准 化的人体参数化模型进行对齐， 得到对齐后的形状姿势参数； S3， 构建初始神经网络并进行训练， 结合已得到的形状姿势参数得到将对齐后的模型 图像向三维模型转换的神经网络； S4， 将拍摄得到的单视角RGB ‑D序列导入训练后的神经网络中得到动态人体三维模型 序列。 2.根据权利要求1所述的基于图像驱动的数字化人体模型构建方法， 其特征在于， 所述 S2包括： S21， 构建对应人体参数化模型的能量 函数； S22， 对能量 函数进行最优化 求解， 得到对应人体参数化模型的形状姿势参数。 3.根据权利要求2所述的基于图像驱动的数字化人体模型构建方法， 其特征在于， 所述 S21包括： 构建如公式一所示的能量 函数 表达式， ， 公式一； 其中， 姿势函数表达式 ， 形状参数表达式 ， 是人体参数化模型的顶点坐标， 是人体参数化模 型的法向， 是扫描模型上的最近邻对应点， 分别是待求解人体参数化模型的姿势参 数、 形状参数。 4.根据权利要求1所述的基于图像驱动的数字化人体模型构建方法， 其特征在于， 所述 S3包括： S31， 采用卷积神经网络提取输入图像的特 征图 ， 构建对应特 征图 的神经网络； S32， 建立对应神经网络的损失函数表达式， 对表达式进行求解， 得到损失最小情况下 的神经网络 。 5.根据权利要求4所述的基于图像驱动的数字化人体模型构建方法， 其特征在于， 所述 S31包括： 在人体参数化模型上采样 个节点， 每个节点定义一个局部编码器来编码 空间点的位 置信息以及当前 人体姿势信息； 对于三维空间中任意 点 进行编码分别获得图像特 征 以及相对坐标 特征 ： ， 公式二； ， 公式三； 其中， 分别是点 所对应的图像特征以及位置与姿势特征， 表示向二维图像 平面的投影函数， 是加权权重， 代表了节点 对点 的影响权重， 是点 相对于节点 的 相对坐标， 是参数化人体模型的姿势参数； 通过小网络 将级联之后的特征映射到占用值函数场， 得到如公式四所示的神经网 络表达式，权　利　要　求　书 1/2 页 2 CN 114998405 A 2， 公式四。 6.根据权利要求4所述的基于图像驱动的数字化人体模型构建方法， 其特征在于， 所述 S32包括： 通过图像和扫描模型 数据进行端到端的训练， 其损失函数定义 为 其中， 为真实占用值， 由扫描数据获得。 7.根据权利要求1所述的基于图像驱动的数字化人体模型构建方法， 其特征在于， 所述 S4包括： S41， 将单视角RGB ‑D序列按深度信息逐步 导入训练后的神经网络中； S42， 在神经网络中按深度信息对图像中的RGB信息进行转换， 得到与姿势相 关的动态 数据序列。权　利　要　求　书 2/2 页 3 CN 114998405 A 3