(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211176670.X (22)申请日 2022.09.26 (71)申请人 出门问问创新科技有限公司 地址 210034 江苏省南京市经济技 术开发 区红枫科技园D1 1栋第8层 (72)发明人 李腾辉　孟振南　林士翔　 (74)专利代理 机构 北京庚致知识产权代理事务 所(特殊普通 合伙) 11807 专利代理师 孙敬霞　李伟波 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/26(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 捏脸参数生成方法、 装置、 电子设备及存储 介质 (57)摘要 本公开提供了一种捏脸参数生成方法、 装 置、 电子设备及存储介质。 本公开的捏脸参数生 成方法包括： 获取包含参考对象脸部的第一图 像； 通过如下方式利用第一图像生成对应参考对 象的捏脸参数： 利用预先训练的模拟器网络基于 第一捏脸参数生成包含虚拟数字人脸部的第二 图像； 利用预先训练的人脸分割网络确定第一图 像与第二图像 之间的脸部细 节特征损失； 利用预 先训练的人脸特征提取网络确定第一图像与第 二图像之间的脸部全局特征损失； 根据脸部细 节 特征损失和脸部全局特征损失更新第一捏脸参 数； 满足预定的截止条件时， 将第一捏脸参数确 定为对应参考对象的捏脸参数， 对应参考对象 的 捏脸参数用于生成对应参数对象的虚拟数字人。 本公开能够利用真人图片自动生成相应的捏脸 参数， 在大幅简化用户操作和有效提升用户体验 的同时， 还可提高虚拟数字人的逼真程度、 拟人化程度和自然度。 权利要求书2页 说明书11页 附图2页 CN 115527255 A 2022.12.27 CN 115527255 A 1.一种捏脸参数生成方法， 其特征在于， 所述捏脸参数用于生成虚拟数字人， 所述捏脸 参数生成方法包括： 获取包含参考对象脸部的第一图像； 通过如下 方式利用所述第一图像生成对应所述 参考对象的捏脸 参数： 利用预先训练的模拟器网络基于第一捏脸 参数生成包 含虚拟数字人脸部的第二图像； 利用预先训练的人脸分割网络确定所述第一图像与所述第二图像之间的脸部细节特 征损失； 利用预先训练的人脸特征提取网络确定所述第一图像与所述第二图像之间的脸部全 局特征损失； 根据所述 脸部细节特 征损失和所述 脸部全局特 征损失更新所述第一捏脸 参数； 满足预定的截止条件时， 将所述第一捏脸参数确定为对应所述参考对象的捏脸参数， 对应所述 参考对象的捏脸 参数用于生成对应所述 参数对象的虚拟数字人。 2.根据权利要求1所述的捏脸参数生成方法， 其特征在于， 所述模拟器网络根据虚拟数 字人数据集训练得到， 所述虚拟数字人数据集包括不同虚拟数字人 的脸部图像样本， 所述 虚拟数字人的脸部图像样本标注有相应虚拟数字人的捏脸 参数。 3.根据权利要求1所述的捏脸 参数生成方法， 其特 征在于， 所述脸部细节特征损失根据所述第一图像的第二分割特征和所述第二图像的第二分 割特征确定； 其中， 所述第二分割特 征通过如下 方式获得： 将所述人脸分割网络中前三个模型的输出特征图按照 通道维度拼接， 获得第 一分割特 征； 以所述人脸分割网络获得的分割概率图作为权重对所述第 一分割特征加权， 获得所述 第二分割特 征。 4.根据权利要求1所述的捏脸参数生成方法， 其特征在于， 所述脸部细节特征损失为所 述第一图像的第二分割特 征与所述第二图像的第二分割特 征之间的最小化 绝对误差 。 5.根据权利要求1所述的捏脸参数生成方法， 其特征在于， 所述利用预先训练 的人脸特 征提取网络确定所述第一图像与所述第二图像之间的脸部全局特 征损失， 包括： 利用所述人脸特征提取网络对所述第 一图像进行人脸识别， 以获得所述第 一图像的脸 部关键点数据； 利用所述人脸特征提取网络对所述第 二图像进行人脸识别， 以获得所述第 二图像的脸 部关键点数据； 根据所述第 一图像的脸部关键点数据和所述第 二图像的脸部关键点数据， 确定所述脸 部全局特 征损失。 6.根据权利要求5所述的捏脸参数生成方法， 其特征在于， 所述脸部全局特征损失为所 述第一图像的脸部关键点数据和所述第二图像的脸部关键点数据之间的余弦相似度误差 。 7.根据权利要求1所述的捏脸参数生成方法， 其特征在于， 所述根据所述脸部细节特征 损失和所述 脸部全局特 征损失更新所述第一捏脸 参数， 包括： 在所述模拟器网络、 人脸分割 网络和人脸特征提取网络的参数不变的情况下， 根据所 述脸部细节特 征损失和所述 脸部全局特 征损失之和通过反向传播确定梯度值；权　利　要　求　书 1/2 页 2 CN 115527255 A 2利用所述梯度值更新所述第一捏脸 参数。 8.一种捏脸参数生成装置， 其特征在于， 所述捏脸参数用于生成虚拟数字人， 所述捏脸 参数生成装置包括： 获取单元， 用于获取包 含参考对象脸部的第一图像； 图像生成单元， 用于利用预先训练 的模拟器网络基于第 一捏脸参数生成包含虚拟数字 人脸部的第二图像； 脸部细节特征单元， 用于利用预先训练的人脸分割网络确定所述第 一图像与 所述第二 图像之间的脸部细节特 征损失； 脸部全局特征单元， 用于利用预先训练的人脸特征提取网络确定所述第 一图像与 所述 第二图像之间的脸部全局特 征损失； 参数更新单元， 用于根据所述脸部细节特征损失和所述脸部全局特征损失更新所述第 一捏脸参数； 判定单元， 用于在满足预定的截止条件时， 将所述第一捏脸参数确定为对应所述参考 对象的捏脸参数， 对应所述参考对象的捏脸参数用于生成对应所述参数对象的虚拟数字 人。 9.一种电子设备， 其特 征在于， 包括： 存储器， 所述存 储器存储执行指令； 以及 处理器， 所述处理器执行所述存储器存储的执行指令， 使得所述处理器执行如权利要 求1至7中任一项所述的捏脸 参数生成方法。 10.一种可读存储介质， 其特征在于， 所述可读存储介质中存储有执行指令， 所述执行 指令被处 理器执行时用于实现如权利要求1至7中任一项所述的捏脸 参数生成方法。权　利　要　求　书 2/2 页 3 CN 115527255 A 3