(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210276959.2 (22)申请日 2022.03.16 (71)申请人 平安科技 （深圳） 有限公司 地址 518048 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 侯翠琴　李剑锋　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 付婧 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 20/62(2022.01) G06V 10/80(2022.01)G06V 30/146(2022.01) G06K 9/62(2022.01) G06F 40/289(2020.01) G06F 40/232(2020.01) G06N 3/04(2006.01) G10L 15/26(2006.01) (54)发明名称 情绪识别方法、 装置、 计算机设备和存储介 质 (57)摘要 本发明涉及一种情绪识别方法、 装置、 计算 机设备和存储介质， 该方法包括： 获取用户当前 时刻以前预设时间的历史视频， 将历史视频按照 预设规则分割为多份子历史视频； 将各份子历史 视频分别输入情绪识别模型的各个子识别模型， 得到各份子历史视频分别对应的情绪识别结果； 情绪识别模 型将多个情绪识别结果进行融合， 得 到用户的当前情绪识别结果。 上述方法可以更准 确识别用户当前的情绪状态。 权利要求书2页 说明书8页 附图2页 CN 114639150 A 2022.06.17 CN 114639150 A 1.一种情绪识别方法， 其特 征在于， 包括： 获取用户当前时刻以前预设时间段的历史视频， 将所述历史视频按照预设规则分割为 多份子历史视频； 将各份子历史视频分别输入情绪识别模型的各个子识别模型， 得到各份子历史视频分 别对应的情绪识别结果； 所述情绪识别模型将多个所述情绪识别结果进行融合， 得到所述用户的当前情绪识别 结果。 2.根据权利要求1所述的情绪识别方法， 其特征在于， 所述将所述历史视频按照预设规 则分割为多份， 包括： 根据预设的时间分割窗口按照视频时序对所述历史视频分割为多份。 3.根据权利要求1所述的情绪识别方法， 其特征在于， 所述将各份历史视频分别输入情 绪识别模型的各个子识别模型， 各个子识别模型分别得到的情绪识别结果， 包括： 针对每份历史视频， 提取视频中的人脸图像以及与所述人脸图像相对应的声音频谱图 和字幕文本； 从所述人脸图像提取图像特 征向量； 从所述声 音频谱图提取文本特 征向量， 并从所述字幕文本提取文本特 征向量； 对所述图像特征向量、 从所述声音频谱图提取的文本特征向量和从所述字幕文本提取 文本特征向量融合， 得到联合特 征向量； 将所述联合特征向量输入所述情绪识别模型的子识别模型， 对所述联合特征向量进行 处理， 得到所述子历史视频对应的情绪识别结果， 其中所述子识别模型是预先训练的多模 态模型。 4.根据权利要求3所述的情绪识别方法， 其特征在于， 所述提取视频中的人脸图像以及 与所述人脸图像相对应的声 音频谱图和字幕文本， 包括： 解析所述历史视频， 得到视频帧； 基于视频帧的像素信 息对所述视频帧进行过滤， 将过 滤后得到的视频帧作为所述待识别人脸情绪的图像； 基于所述视频帧的像素信 息， 生成所述视频帧对应的直方图同时确定所述视频帧的清 晰度； 根据所述直方图和边缘检测算子， 对所述视频帧进行聚类， 得到至少一个类； 过滤各 个所述类中重复的视频帧和清晰度小于清晰度阈值的视频帧； 基于所述过滤后的视频帧， 采用基于卷积神经网络的的方法对视频帧进行人脸检测、 对齐、 旋转和调整大小的操作， 得到人脸图像。 5.根据权利要求4所述的情绪识别方法， 其特征在于， 所述从所述人脸图像提取图像特 征向量， 包括： 将所述人脸图像输入预先训练得到的图像特征提取模型中进行处理， 将所述图像特征 提取模型中的全连接层输出的特征向量确定为所述图像特征向量， 所述图像特征提取模型 为对预设深度卷积神经网络模型进行训练得到的， 所述预设深度卷积神经网络模型包括池 化层、 一个全连接层以及全连接层前的dropout层和全连接层后的softmax层。 6.根据权利要求4所述的情绪识别方法， 其特征在于， 所述从所述声音频谱图提取文本 特征向量， 并从所述字幕文本提取文本特 征向量， 包括： 将所述声 音频谱图转写为音频文本；权　利　要　求　书 1/2 页 2 CN 114639150 A 2将转写后的音频文本 输入语言模型中进行纠错处 理， 得到纠错处 理后的音频文本； 对所述音频文本和所述字幕文本进行去重处 理， 得到融合后的文本数据； 对所述文本数据进行分词处 理， 并去除分词结果中的低频词和停用词， 得到多个词； 调用word2vec模型， 对所述多个词进行处 理， 得到向量矩阵； 将所述向量矩阵输入预先训练 的文本特征提取模型中进行处理， 将所述文本特征提取 模型中的全连接层输出的特征向量确定为所述文本特征向量， 所述文本特征提取模型为对 预设文本卷积神经网络模型进行训练得到的， 所述预设文本卷积神经网络模型包括池化 层、 一个全连接层以及全连接层前的dropout层和全连接层后的softmax层。 7.根据权利要求1所述的情绪识别方法， 其特征在于， 所述将多个所述情绪识别结果进 行融合， 得到所述用户的当前情绪识别结果， 包括： 将所述多个情绪识别结果输入条件随机场， 所述条件随机场得到用户的当前情绪识别 结果。 8.一种情绪识别方法装置， 其特 征在于， 包括： 视频获取单元， 用于获取用户当前时刻以前预设时间的历史视频， 将所述历史视频按 照预设规则分割为多份子历史视频； 情绪识别单元， 用于将各份子历史视频分别输入情绪识别模型的各个子识别模型， 得 到各份子历史视频分别对应的情绪识别结果； 结果输出单元， 用于所述情绪识别模型将多个所述情绪识别结果进行融合， 得到所述 用户的当前情绪识别结果。 9.一种计算机设备， 包括存储器和处理器， 所述存储器中存储有计算机可读指令， 所述 计算机可读指 令被所述处理器执行时， 使 得所述处理器执行如权利要求 1至7中任一项权利 要求所述情绪识别方法的步骤。 10.一种存储有计算机可读指令的存储介质， 所述计算机可读指令被一个或多个处理 器执行时， 使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述情绪识别方 法的步骤。权　利　要　求　书 2/2 页 3 CN 114639150 A 3