(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210214201.6 (22)申请日 2022.03.03 (71)申请人 招商银行股份有限公司 地址 518000 广东省深圳市福田区深南大 道7088招商银行 大厦 (72)发明人 毛萌　余炜杰　谭林祥　李国鸣　 钱学成　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 李幸芳 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) (54)发明名称 情绪识别方法、 装置、 设备及存 储介质 (57)摘要 本发明公开了一种情绪识别方法、 装置、 设 备及存储介质， 其方法包括： 获取视频文件； 从所 述视频文件中识别具有业务分析价值的业务片 段； 对所述业务片段对应的图像人物进行人脸检 测， 得到人脸图像； 对所述人脸图像进行表情识 别， 得到所述人脸图像的表情识别结果； 将所述 人脸图像的表情识别结果、 预先得到的所述人物 的抱胸动作识别结果和预先得到的所述人物的 点头动作识别结果进行融合， 得到融合后的所述 人物的情绪结果。 本发明提出通过融合表情、 点 头动作和抱胸动作等多维度信息以判断人物情 绪， 提高情绪识别满意度分析的准确率。 权利要求书2页 说明书12页 附图9页 CN 114639142 A 2022.06.17 CN 114639142 A 1.一种情绪识别方法， 其特征在于， 所述方法应用于情绪识别装置， 所述方法包括以下 步骤： 获取视频文件； 从所述视频文件中识别具有业 务分析价 值的业务片段； 对所述业务片段对应的图像人物进行 人脸检测， 得到人脸图像； 对所述人脸图像进行表情识别， 得到所述人脸图像的表情识别结果； 将所述人脸图像的表情识别结果、 预先得到的所述人物的抱胸动作识别结果和预先得 到的所述人物的点头动作识别结果进行融合， 得到融合后的所述人物的情绪结果。 2.如权利要求1所述的情绪识别方法， 其特征在于， 所述情绪识别装置包括： 业务片段 识别模块， 所述从所述视频文件中识别具有业 务分析价 值的业务片段的步骤 包括： 从所述视频文件中读取当前帧的图像； 对所述当前帧的图像进行 人体检测， 得到人物在所述当前帧的图像中的位置信息； 结合所述位置信息， 若所述人物的位置稳定且所处面积占所述当前帧的图像1/10以 上， 则根据人物的服装、 所处区域、 停留时间中的一种或多种 判断人物身份； 统计全天的时间线， 若某一 时间段存在不同人物身份且所述 时间段超过预设的人物停 留时长阈值， 则将所述时间段作为具有业 务分析价 值的时间片段； 通过所述业务片段识别模块识别所述具有业务分析价值的时间片段， 基于所述时间片 段得到具有业 务分析价 值的业务片段。 3.如权利要求2所述的情绪识别方法， 其特征在于， 所述情绪识别装置还包括： 抱胸动 作识别模块， 所述对所述业务片段对应的图像人物进行人脸检测， 得到人脸图像的步骤之 前还包括： 通过所述抱胸动作识别模块， 对所述业务片段对应的图像人物进行抱胸动作识别， 得 到所述人物的抱胸动作识别结果。 4.如权利要求2所述的情绪识别方法， 其特征在于， 所述情绪识别装置还包括： 人脸检 测模块， 所述对所述 业务片段对应的图像人物进行 人脸检测， 得到人脸图像的步骤 包括： 通过所述人脸检测模块， 对所述业务片段对应的图像人物进行人脸检测， 得到人脸图 像； 基于所述人脸图像获取人脸位置信息， 所述人脸位置信息包括检测框的左上角坐标、 检测框的右下角坐标和预设数量个人脸关键点 坐标。 5.如权利要求4所述的情绪识别方法， 其特征在于， 所述情绪识别装置还包括： 点头动 作识别模块， 所述对所述业务片段对应的图像人物进行人脸检测， 得到人脸图像的步骤之 后还包括： 根据所述预设数量个人脸关键点坐标， 计算所述关键点在相邻时间序列的垂直移动距 离； 基于所述垂直移动距离 定义抬头判断条件和低头判断条件； 通过所述点头动作识别模块， 基于所述抬头判断条件和低头判断条件对所述人物的人 脸进行点头动作识别， 得到所述人物的点头动作识别结果。 6.如权利要求4所述的情绪识别方法， 其特征在于， 所述情绪识别装置还包括： 无效人 脸剔除模块， 所述对所述人脸图像进行表情识别， 得到所述人脸图像的表情识别结果的步权　利　要　求　书 1/2 页 2 CN 114639142 A 2骤之前还 包括： 基于所述人脸位置信息对所述人脸图像进行无效人脸判断， 剔除无效人脸， 得到剔除 无效人脸后的人脸图像。 7.如权利要求2所述的情绪识别方法， 其特征在于， 所述情绪识别装置还包括： 结果融 合模块， 所述将所述人脸图像的表情识别结果、 预先得到的所述人物的抱胸动作识别结果 和预先得到的所述人物的点头动作 识别结果进行融合， 得到融合后的所述人物的情绪结果 的步骤包括： 确定表情识别结果、 抱胸动作识别结果和点头动作识别结果的融合权 重； 通过结果融合模块， 结合所述融合权重， 将所述人脸图像的表情识别结果、 预先得到的 所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进 行融合， 得到 融合后的所述人物的情绪结果。 8.一种情绪识别装置， 其特 征在于， 所述情绪识别装置包括： 获取模块， 用于获取视频文件； 业务片段识别模块， 用于从所述视频文件中识别具有业 务分析价 值的业务片段； 抱胸动作识别模块， 用于对所述业务片段对应的图像人物进行抱胸动作识别， 得到所 述人物的抱胸动作识别结果； 人脸检测模块， 用于对所述 业务片段对应的图像人物进行 人脸检测， 得到人脸图像； 点头动作识别模块， 用于对所述人脸图像进行点头动作识别， 得到所述人物的点头动 作识别结果； 无效人脸剔除模块， 用于对所述人脸图像进行无效人脸判断， 剔除无效人脸， 得到剔除 无效人脸后的人脸图像； 表情识别模块， 用于对所述剔除无效人脸后的人脸图像进行表情识别， 得到所述人脸 图像的表情识别结果； 结果融合模块， 用于将所述人脸图像的表情识别结果、 所述人物的抱胸动作识别结果 和所述人物的点头动作识别结果进行融合， 得到融合后的所述人物的情绪结果。 9.一种终端设备， 其特征在于， 所述终端设备包括存储器、 处理器及存储在所述存储器 上并可在所述处理器上运行的情绪识别程序， 所述情绪识别程序被所述处理器执行时实现 如权利要求1 ‑7中任一项所述的情绪识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有情绪识 别程序， 所述情绪识别程序被处理器执行时实现如权利要求1 ‑7中任一项所述的情绪识别 方法。权　利　要　求　书 2/2 页 3 CN 114639142 A 3