(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211326927.5 (22)申请日 2022.10.27 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 桑佳俊　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 郭梦霞 (51)Int.Cl. G06F 40/284(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 情感分析模型训练方法、 装置、 设备及存储 介质 (57)摘要 本发明涉及人工智能技术， 揭露了一种情感 分析模型训练方法， 包括： 获取训练文本中包括 真实情感标签的情感关键词， 构建所述训练文本 的嵌入向量序列； 利用所述 嵌入向量序列训练深 度神经网络模 型， 并获取训练完成的神经网络模 型的模型参数； 基于所述模型参数向所述嵌入向 量序列添加扰动， 得到对抗文本； 将对抗文本输 入至预训练完成的深度神经网络模 型中， 得到预 测情感标签， 根据预测情感标签计算深度神经网 络模型的对抗损失值， 在对抗损失值小于预设损 失阈值时， 确定预训练完成的深度神经网络模型 为目标情感分析模型。 本发明还提出一种情感分 析模型训练装置、 电子设备 以及存储介质。 本发 明可以情感分析模型的预测准确度。 权利要求书3页 说明书12页 附图4页 CN 115392237 A 2022.11.25 CN 115392237 A 1.一种情感分析模型训练方法， 其特 征在于， 所述方法包括： 提取训练文本 中包括真实情感标签的情 感关键词， 构建由所述训练文本 中每个词的词 嵌入向量组成的嵌入向量序列； 利用所述嵌入向量序列对深度神经网络模型进行预训练， 并获取预训练完成的深度神 经网络模型的模型参数； 基于所述模型参数利用快速梯度符号法计算所述情感关键词对应的关键扰动， 基于所 述关键扰动向所述嵌入向量序列添加扰动， 得到对抗文本； 将所述对抗文本输入至所述预训练完成的深度神经网络模型中， 得到对抗预测情 感标 签； 计算所述对抗预测情感标签与所述真实情感标签之间的对抗损失值， 判断所述对抗损 失值是否小于预设损失阈值； 在所述对抗损失值不小于所述预设损失阈值 时， 调整所述预训练完成的深度神经网络 模型的模型参数， 并返回上述将所述对抗文本输入至所述预训练完成的深度神经网络模型 中， 得到对抗预测情感标签的步骤； 在所述对抗损失值小于所述预设损失阈值 时， 确定所述预训练完成的深度神经网络模 型为目标情感分析模型。 2.如权利要求1所述的情感分析模型训练方法， 其特征在于， 所述构建由所述训练文本 中每个词的词嵌入向量组成的嵌入向量序列， 包括： 去除所述训练文本中的停用词及标点符号， 得到标准文本； 对所述标准文本进行文本分词及向量 转化， 得到所述标准文本中每 个词的词向量； 利用预设的词向量嵌入 模型分别对所述词向量进行 前后向卷积， 得到上 下文信息； 根据所述上 下文信息获取 上下文特征向量及位置嵌入向量； 将所述词向量、 上下文特征向量及位置向量进行向量叠加， 得到所述标准文本中每个 词的词嵌入向量， 合并所述标准文本中每 个词的词嵌入向量， 得到嵌入向量序列。 3.如权利要求1所述的情感分析模型训练方法， 其特征在于， 所述利用所述嵌入向量序 列对深度神经网络模型进行 预训练， 包括： 将所述嵌入向量序列输入至预构建的深度神经网络模型中的隐藏层， 得到所述嵌入向 量序列的多个中间层向量特 征及最后一层向量特 征； 将所述最后 一层向量特征与 所述多个中间层向量特征进行特征融合， 得到所述嵌入向 量序列对应的训练文本特 征； 利用所述预构建的深度神经网络对所述训练文本特征及所述最后一层向量特征进行 训练， 直至所述深度神经网络模型收敛， 得到预训练完成的深度神经网络 。 4.如权利要求3所述的情感分析模型训练方法， 其特征在于， 所述利用所述预构建的深 度神经网络对所述训练文本特 征及所述 最后一层向量进行训练， 包括： 将所述训练文本特征及所述最后 一层向量进行全连接， 得到所述嵌入向量序列的预测 情感标签； 计算所述预测情感标签与所述情感关键词对应的真实情感标签之间的第一损失值； 根据所述第 一损失值对所述深度神经网络进行迭代训练， 直至所述第 一损失值小于预 设预训练损失阈值。权　利　要　求　书 1/3 页 2 CN 115392237 A 25.如权利要求1所述的情感分析模型训练方法， 其特征在于， 所述基于所述模型参数利 用快速梯度符号法计算所述情感关键词对应的关键扰动， 基于所述关键扰动向所述嵌入向 量序列添加扰动， 得到对抗文本， 包括： 基于所述模型参数利用预设的损失函数计算所述预训练完成的深度神经网络模型的 第二损失值， 根据所述第二损失值计算所述损失函数梯度； 利用符号 函数计算所述损失函数梯度的梯度方向； 将预构建的扰动因子与所述梯度方向相乘， 得到所述情感关键词对应的关键扰动； 利用线性 递减法向所述嵌入向量序列添加所述关键扰动， 得到对抗文本 。 6.如权利要求1所述的情感分析模型训练方法， 其特征在于， 所述将所述对抗文本输入 至所述预训练完成的深度神经网络模型中， 得到对抗预测情感标签， 包括： 利用所述预训练完成的深度神经网络提取 所述对抗文本的特 征信息； 对所述特 征信息进行池化， 得到所述对抗文本的语义特 征； 利用预设的激活函数对所述语义特征进行分类， 得到所述对抗文本对应的预测情 感标 签。 7.如权利要求1所述的情感分析模型训练方法， 其特征在于， 所述计算所述对抗预测情 感标签与所述真实情感标签之间的对抗损失值， 包括： 利用如下公式计算所述对抗预测情感标签与所述真实情感标签之间的对抗损失值： 其中， 为所述对抗损失值， 为所述对抗预测情感标签的数量， 为第 个对抗预测情感 标签， 为所述对抗预测情感标签的类别数量， 为所述对抗预测情感标签的其中一种类别， 为符号函数， 为第 个对抗预测情感标签属于类别 的概率, 为对抗预测情感标签类别 在真实情感标签中的概 率。 8.一种情感分析模型训练装置， 其特 征在于， 所述装置包括： 嵌入向量序列构建模块， 用于提取训练文本中包括真实情感标签的情感关键词， 构建 由所述训练文本中每 个词的词嵌入向量组成的嵌入向量序列； 神经网络模型训练模块， 用于利用所述嵌入向量序列对深度神经网络模型进行预训 练， 并获取 预训练完成的深度神经网络模型的模型参数； 添加扰动模块， 用于基于所述模型参数利用快速梯度符号法计算所述情感关键词对应 的关键扰动， 基于所述关键扰动向所述嵌入向量序列添加扰动， 得到对抗文本； 对抗情感标签预测模块， 用于将所述对抗文本输入至所述预训练完成的深度神经网络 模型中， 得到对抗预测情感标签； 损失值计算模块， 用于计算所述对抗预测情感标签与 所述真实情感标签之间的对抗损 失值， 判断所述对抗损失值是否小于预设损失阈值； 参数调整模块， 用于在所述对抗损 失值不小于所述预设损 失阈值时， 调整所述预训练 完成的深度神经网络模型的参数， 并返回上述将所述对抗文本输入至所述预训练完成的深 度神经网络模型中， 得到对抗预测情感标签的步骤。 9.目标情感分析模型确定模块， 用于在所述对抗损失值小于所述预设损 失阈值时， 确权　利　要　求　书 2/3 页 3 CN 115392237 A 3