(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210518926.4 (22)申请日 2022.05.13 (71)申请人 北京沃东天骏信息技 术有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号院2号楼4层A402室 申请人 北京京东世纪贸易有限公司 (72)发明人 王海新　杜峰　吴朝阳　 (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 专利代理师 韩黎捷　张效荣 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/66(2017.01) G06T 7/73(2017.01) (54)发明名称 一种驱动虚拟人物 表情的方法和装置 (57)摘要 本发明公开了一种驱动虚拟人物表情的方 法和装置， 涉及计算机技术领域。 该方法的一具 体实施方式包括： 获取人脸图像， 并对所述人脸 图像进行关键点提取以得到人脸 关键点； 将所述 人脸关键点输入至预先训练的表情系数模型中， 得到所述人脸图像对应的表情系数值； 根据所述 表情系数值对虚拟人物进行表情驱动。 该实施方 式能够较为 真实自然准确的快速驱动虚拟人物， 网络消耗量 极小， 驱动速度快， 且泛化性较强。 能 够较为真实自然准确的快速驱动虚拟人物， 网络 消耗量极小， 驱动速度快， 且 泛化性较强。 权利要求书2页 说明书12页 附图4页 CN 114821734 A 2022.07.29 CN 114821734 A 1.一种驱动虚拟人物 表情的方法， 其特 征在于， 包括： 获取人脸图像， 并对所述人脸图像进行关键点 提取以得到人脸关键点； 将所述人脸关键点输入至预先训练 的表情系数模型中， 得到所述人脸图像对应的表情 系数值； 根据所述表情系数值对虚拟人物进行表情驱动。 2.根据权利要求1所述的方法， 其特 征在于， 对所述人脸图像进行关键点 提取包括： 通过将所述人脸图像输入到预先训练 的人脸关键点识别模型中进行关键点提取， 所述 人脸关键点识别模型 是通过对已进行关键点标注的人脸图像进行训练得到的。 3.根据权利要求1所述的方法， 其特征在于， 将所述人脸关键点输入至预先训练 的表情 系数模型中之前， 还 包括： 将所述人脸图像限制为指定大小的图片， 并对所述人脸关键点进行归一 化处理。 4.根据权利要求3所述的方法， 其特 征在于， 对所述人脸关键点进行归一 化处理包括： 获取人脸关键点的中心点的横坐标和纵坐标， 以及人脸图像的高度和宽度； 对每个人脸关键点， 根据所述人脸关键点的横坐标、 中心点的横坐标以及人脸图像的 高度和宽度计算所述人脸关键点的归一化横坐标， 根据所述人脸关键点的纵坐标、 中心点 的纵坐标以及人脸图像的高度和宽度计算所述人脸关键点的归一 化纵坐标； 将所述人脸关键点的中心点平移至指定大小的人脸图像的左上角， 以对所述归一化横 坐标和所述归一 化纵坐标进行平 移， 完成对所述人脸关键点的归一 化处理。 5.根据权利要求1所述的方法， 其特征在于， 所述表情系数模型是通过以下方式训练得 到的： 获取人脸图像集 合； 对每个人脸图像进行关键点 提取以得到每 个人脸图像对应的人脸关键点； 对每个人脸图像， 基于人脸模型重建方法得到所述人脸图像的混合变形值， 并使用所 述混合变形值对所述人脸图像对应的人脸关键点进行打标； 对打标后的人脸图像对应的人脸关键点进行 学习以得到所述表情系数模型。 6.根据权利要求1所述的方法， 其特征在于， 所述预先训练 的表情系数模型包括眨眼表 情系数模型和非眨眼表情系数模型； 将所述人脸关键点输入至预先训练 的表情系数模型中， 得到所述人脸图像对应的表情 系数值， 包括： 从所述人脸关键点中提取眼部关键点， 并将所述眼部关键点输入至所述眨眼表情系数 模型中， 得到所述人脸图像对应的眨眼表情系数值； 将所述人脸关键点输入至所述非眨眼表情系数模型中， 得到所述人脸图像对应的非眨 眼表情系数值； 根据所述眨眼表情系数值和所述非眨眼表情系数值得到所述人脸图像对应的表情系 数值。 7.根据权利要求6所述的方法， 其特征在于， 所述眨眼表情系数模型是通过以下方式训 练得到的： 获取人脸图像集 合； 对每个人脸图像进行关键点 提取以得到每 个人脸图像对应的人脸关键点；权　利　要　求　书 1/2 页 2 CN 114821734 A 2对每个人脸图像， 基于人脸模型重建方法得到所述人脸图像的混合变形值， 并使用所 述混合变形值对所述人脸图像对应的人脸关键点进行打标； 对打标后的人脸图像对应的人脸关键点， 从所述人脸关键点中提取眼部关键点， 通过 深度学习优化 算法对所述眼部关键点进行 学习得到所述眨眼表情系数模型。 8.根据权利要求6所述的方法， 其特征在于， 所述非眨眼表情系数模型是通过以下方式 训练得到的： 获取人脸图像集 合； 对每个人脸图像进行关键点 提取以得到每 个人脸图像对应的人脸关键点； 对每个人脸图像， 基于人脸模型重建方法得到所述人脸图像的混合变形值， 并使用所 述混合变形值对所述人脸图像对应的人脸关键点进行打标； 将打标后的人脸图像对应的人脸关键点进行坐标格式变换得到方块矩阵， 通过深度 学 习优化算法对所述方块矩阵进行 学习以得到所述非眨眼表情系数模型。 9.根据权利要求8所述的方法， 其特征在于， 所述非眨眼表情系数模型在训练时， 损 失 函数包括眨眼表情之外的全脸表情对应的第一损失函数和张嘴表情对应的第二损失函数。 10.根据权利要求8所述的方法， 其特征在于， 将打标后的人脸图像对应的人脸关键点 进行坐标格式变换 得到方块矩阵之前， 还 包括： 在打标后的人脸图像对应的人脸关键点的坐标无法直接变换为方块矩阵的情况下， 使 用0值进行补充， 直至由打标后的人脸图像对应的人脸关键点的坐标和所述0值构成的关键 点坐标集合， 可进行坐标格式变换 得到方块矩阵。 11.一种驱动虚拟人物 表情的装置， 其特 征在于， 包括： 关键点获取模块， 用于获取人脸图像， 并对所述人脸图像进行关键点提取以得到人脸 关键点； 系数值计算模块， 用于将所述人脸关键点输入至预先训练的表情系数模型中， 得到所 述人脸图像对应的表情系数值； 表情驱动模块， 用于根据所述表情系数值对虚拟人物进行表情驱动。 12.一种驱动虚拟人物 表情的电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1 ‑10中任一所述的方法。 13.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器执 行时实现如权利要求1 ‑10中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114821734 A 3