(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210828996.X (22)申请日 2022.07.15 (65)同一申请的已公布的文献号 申请公布号 CN 114913590 A (43)申请公布日 2022.08.16 (73)专利权人 山东海量信息技 术研究院 地址 250000 山东省济南市高新 技术开发 区国家信息通信国际创新园 (72)发明人 赵雅倩　王斌强　董刚　李仁刚　 刘璐　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 薛娇 (51)Int.Cl. G06V 40/16(2022.01)G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 王婷婷 (54)发明名称 一种数据 的情感识别方法、 装置、 设备及可 读存储介质 (57)摘要 本发明涉及人工智能技术领域， 公开了一种 数据的情感识别方法、 装置、 设备及可读存储介 质， 包括： 对接收到的情感识别任务进行解析， 得 到待识别的目标数据； 利用目标情感识别模型的 第一特征提取层对目标数据进行特征提取， 得到 第一特征； 利用预部署于目标情感识别模型的傅 里叶变换模块对第一特征进行傅里叶变换， 得到 频域特征； 利用目标情感识别模 型的第二特征提 取层对频域特征进行特征提取， 得到第二特征； 利用目标情感识别模型的分类层对第二特征进 行分类， 得到情感识别结果。 应用本发明所提供 的数据的情感识别方法， 增强了神经网络模型的 可解释性， 提高了情感识别的准确度。 权利要求书3页 说明书14页 附图5页 CN 114913590 B 2022.12.27 CN 114913590 B 1.一种数据的情感识别方法， 其特 征在于， 包括： 对接收到的情感识别任务进行解析， 得到待识别的目标 数据； 利用目标情 感识别模型的第 一特征提取层对所述目标数据进行特征提取， 得到第 一特 征； 其中， 所述第一特征提取层为所述目标数据对应领域的特征提取主干网络， 所述第一特 征为从所述目标数据中提取的具有语义表达能力的中间特征向量； 所述第一特征的提取公 式为： ， 为所述第一特 征提取层， 为所述第一特 征； 利用预部署于所述目标情感识别模型中基于长短时记忆网络的傅里叶变换模块对所 述第一特征进 行傅里叶变换， 得到频域特征； 其中， 所述利用预部署 于所述目标情感识别模 型中基于长 短时记忆网络的傅里叶变换模块对所述第一特征进行傅里叶变换的过程包括： 将所述第一特征输入至预部署于所述目标情感识别模型中基于长短时记忆网络的傅里叶 变换模块， 所述傅里叶变换模块对所述长 短时记忆网络的输出隐含状态向量进行傅里叶变 换； 利用所述目标情感识别模型的第 二特征提取层对所述频域特征进行特征提取， 得到第 二特征； 其中， 所述第二特征提取层为深度学习的特征抽取层， 所述第二特征为对所述频域 特征进行深度特征提取得到的所述目标数据的表达特征； 所述第二特征的提取公式为： ， 其中， 为所述频域特征， 为所述第一特征， 为所述第二特征提取 层， 所述 为所述第二特 征； 利用所述目标情感识别模型的分类层对所述第二特 征进行分类， 得到情感识别结果。 2.根据权利要求1所述的数据的情 感识别方法， 其特征在于， 还包括所述情 感识别模型 的训练过程， 所述情感识别模型的训练过程包括： 获取情感识别数据集； 其中， 所述情感识别数据集中包 含原始数据和真实标签； 将所述原始数据输入至原始情感识别模型， 以使所述原始数据依次通过所述原始情感 识别模型的第一特征提取层、 傅里叶变换模块、 第二特征提取层以及分类层进 行前向传输， 得到分类向量； 获取所述真实标签对应的标签向量； 通过损失函数对所述分类向量和所述标签向量进行损失度量， 得到分类损失； 判断所述分类损失是否小于预设值； 若否， 则通过反向传播算法将所述标签向量依次通过所述原始情感识别模型的分类 层、 第二特征提取层、 傅里叶变换模块以及第一特征提取层进 行反向传输， 以对 所述原始情 感识别模型进 行参数更新， 并重复执行所述将所述原始数据输入至原始情感识别模型的步 骤； 若是， 则将所述原 始情感识别模型确定为所述目标情感识别模型。 3.根据权利要求2所述的数据的情感识别方法， 其特征在于， 在得到分类向量之后， 通 过损失函数对所述分类向量和所述标签向量进行损失度量之前， 还 包括： 对所述分类向量进行归一 化， 得到归一 化分类概 率向量； 通过损失函数对所述分类向量和所述标签向量进行损失度量， 包括： 通过损失函数对所述归一 化分类概 率向量和所述标签向量进行损失度量。权　利　要　求　书 1/3 页 2 CN 114913590 B 24.根据权利要求2所述的数据的情 感识别方法， 其特征在于， 在将所述原始数据输入至 所述原始情感识别模型之前， 还 包括： 对原始情感识别模型进行权 重初始化。 5.根据权利要求2所述的数据的情 感识别方法， 其特征在于， 将所述原始情 感识别模型 确定为所述目标情感识别模型， 包括： 判断是否为连续预设训练周期次数 所述分类损失均小于所述预设值； 若是， 则将所述原 始情感识别模型确定为所述目标情感识别模型。 6.根据权利要求2所述的数据的情感识别方法， 其特 征在于， 还 包括： 将前向传输中所述 傅里叶变换模块的输出 结果进行 可视化展示。 7.根据权利要求1至6任一项所述的数据的情感识别方法， 其特征在于， 当所述情感识 别任务为多模态的情感识别任务时， 对接 收到的情感识别任务进行解析， 得到待识别的目 标数据， 包括： 对接收到的情感识别任务进行解析， 得到各模态分别对应的待识别的目标 数据； 利用目标情感识别模型的第一特 征提取层对所述目标 数据进行 特征提取， 包括： 针对每个模态的待识别的目标数据， 利用目标情感识别模型的第 一特征提取层对所述 目标数据进行 特征提取； 利用所述目标情感识别模型的分类对将所述第二特 征进行分类， 包括： 对各所述模态分别对应的第二特 征进行特征融合， 得到第一融合特 征； 利用所述目标情感识别模型的分类层对所述第一融合特 征进行分类。 8.根据权利要求1所述的数据的情 感识别方法， 其特征在于， 利用所述目标情感识别模 型的第二特 征提取层对所述频域特 征进行特征提取， 包括： 当所述目标数据为非时序数据时， 利用所述目标情感识别模型的第 二特征提取层对所 述频域特 征进行特征提取。 9.根据权利要求1所述的数据的情 感识别方法， 其特征在于， 利用所述目标情感识别模 型的第二特 征提取层对所述频域特 征进行特征提取， 包括： 当所述目标数据为时序数据时， 对所述第一特征和所述频域特征进行特征融合， 得到 第二融合特 征； 利用所述目标情感识别模型的第二特 征提取层对所述第二融合特 征进行特征提取。 10.根据权利要求1所述的数据的情感识别方法， 其特征在于， 利用所述目标情感识别 模型的分类层对所述第二特 征进行分类， 包括： 利用所述目标情感识别模型的分类层将所述第二特征由特征表达维度映射到情感空 间维度。 11.根据权利要求1所述的数据的情感识别方法， 其特征在于， 利用所述目标情感识别 模型的第二特 征提取层对所述频域特 征进行特征提取， 包括： 获取所述情感识别任务所属场景的场景复杂度； 根据所述场景复杂度确定对所述频域特征的处理模式； 其中， 所述处理模式为对所述 频域特征中的实部和虚部进行一起处理或对所述频域特征中的实部和虚部进行分开处理 中的一种； 利用所述目标情感识别模型的第二特征提取层按照所述处理模式对所述频域特征进权　利　要　求　书 2/3 页 3 CN 114913590 B 3