(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210323198.1 (22)申请日 2022.03.30 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 李东泽　孟凡亮　何恺　蒋琳　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 赖舒娴 (51)Int.Cl. G06V 40/16(2022.01) G06T 13/40(2011.01) G06T 13/80(2011.01) G06F 3/16(2006.01) G06Q 40/02(2012.01) (54)发明名称 客服问答方法、 装置、 设备、 存储介质和计算 机程序产品 (57)摘要 本申请涉及一种客服问答方法、 装置、 计算 机设备、 存储介质和计算机程序产品， 该方法涉 及人工智能领域， 可用于数字化金融领域或其他 领域。 所述方法包括： 获取与用户在问答界面上 所输入的问题匹配的回复数据； 回复数据包括情 绪回复数据及问题回复数据； 将回复数据输入至 预设动画模 型中进行处理， 生 成数字人的表情及 面部动画； 将数字人的表情与数字人的面部动画 进行合成， 生成数字人的动画， 将数字人的动画 展示在问答界面上； 数字人的动画用于展示与表 情数据对应的表情， 以及对问题回复数据进行语 音播报。 采用本方法能够提高客户线上办理银行 业务的便捷性。 权利要求书2页 说明书16页 附图9页 CN 114694224 A 2022.07.01 CN 114694224 A 1.一种客 服问答方法， 其特 征在于， 所述方法包括： 获取与用户在问答界面上所输入的问题匹配的回复数据； 所述 回复数据包括情绪 回复 数据及问题回复数据； 将所述回复数据输入至预设动画模型中进行处 理， 生成数字人的表情及面部动画； 将所述数字人的表情与所述数字人的面部动画进行合成， 生成所述数字人的动画， 将 所述数字人的动画展示在所述问答界面上； 所述数字人的动画用于展示与所述表情数据对 应的表情， 以及对所述问题回复数据进行语音播报。 2.根据权利要求1所述的方法， 其特征在于， 所述面部动画包括多组嘴部 图像帧； 所述 将所述回复数据输入至预设动画模型中进行处 理， 生成数字人的表情及面部动画， 包括： 从预设表情库中匹配与所述情绪 回复数据对应的数字人的表情； 所述预设表情库中预 先存储了情绪回复数据与数字人的表情之间的对应关系； 将所述问题回复数据输入至预设动画模型中进行处理， 生成与 所述问题回复数据对应 的数字人的多组嘴部骨骼点图形； 所述嘴部骨骼 点图形中包括多个处于目标位置的嘴部骨 骼点； 根据所述数字人的多组嘴部骨骼点图形， 生成所述数字人的多个嘴部图像帧。 3.根据权利要求2所述的方法， 其特征在于， 若所述问题回复数据为文本数据， 则所述 将所述问题回复数据输入至预设动画模型中进行 处理， 生成与所述问题回复数据对应的数 字人的多组嘴部骨骼点图形， 包括： 将所述问题回复数据进行格式转换， 生成与所述问题回复数据对应的音频 数据； 采用预设音频分割规则将所述音频 数据依次划分为多个音频 数据单元； 针对各所述音频数据 单元， 确定数字人的多个嘴部骨骼点在发出所述音频数据 单元时 的目标位置； 基于处于所述目标位置的多个嘴部骨骼点， 生成所述多组嘴部骨骼点图形。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述数字人的表情与所述数字人的 面部动画进行合成， 生成所述数字人的动画， 包括： 按照所述多个音频数据 单元在所述音频数据中的出现时间点的先后 顺序， 将与所述音 频数据单元对应的数字人的多个嘴部图像帧进 行排列， 生成与所述问题回复数据对应的数 字人的嘴部动画； 将所述数字人的表情与数字人的嘴部动画进行合成处 理， 生成所述数字人的动画。 5.根据权利要求1所述的方法， 其特征在于， 所述获取与用户在问答界面上所输入的问 题匹配的回复数据， 包括： 将所述用户在问答界面上所输入的问题输入至预设情 感识别模型中进行情 感识别， 生 成所述用户的情感识别结果， 确定与所述用户的情感识别结果对应的情绪回复数据； 根据所述情绪回复数据及所述用户在问答界面上 所输入的问题， 生成问题回复数据； 基于所述情绪回复数据及所述问题回复数据， 生成所述回复数据。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述用户在问答界面上所输入的问 题输入至预设情感识别模型中进行处 理， 生成所述用户的情感识别结果， 包括： 将所述用户在问答界面上所输入的问题分别输入至句子级语义特征提取模型和词语 级语义特征提取模型中进行特征提取， 生成所述问题的句子级语义特征及词语级语义特权　利　要　求　书 1/2 页 2 CN 114694224 A 2征； 基于所述句子级语义特征生成所述用户的第 一情感数据， 并基于所述多元词组语义特 征生成所述用户的第二情感数据； 采用预设筛选规则， 从所述第 一情感数据和所述第 二情感数据中确定所述用户的情感 识别结果。 7.根据权利要求6所述的方法， 其特征在于， 所述采用预设筛选规则， 从所述第一情感 数据和所述第二情感数据中确定所述用户的当前情感识别结果， 包括： 判断所述第一情感数据是否属于积极类型， 且所述第二情感数据是否属于消极类型； 若否， 则将所述第一情感数据确定为所述用户的当前情感识别结果。 8.根据权利要求7 所述的方法， 其特 征在于， 所述方法还 包括： 若所述第一情感数据属于积极类型， 且所述第二情感数据属于消极类型， 则将所述第 二情感数据确定为所述用户的当前情感识别结果。 9.一种客 服问答装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取与用户在 问答界面上所输入的问题匹配的回复数据； 所述回复数 据包括情绪回复数据及问题回复数据； 第一生成模块， 用于将所述回复数据输入至预设动画模型中进行处理， 生成数字人的 表情及面部动画； 第二生成模块， 用于将所述数字人的表情与所述数字人的面部动画进行合成， 生成所 述数字人 的动画， 将所述数字人 的动画展示在所述问答界面上； 所述数字人 的动画用于展 示与所述表情数据对应的表情， 以及对所述问题回复数据进行语音播报。 10.一种计算机设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。 12.一种计算机程序产品， 包括计算机程序， 其特征在于， 该计算机程序被处理器执行 时实现权利要求1至8中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114694224 A 3