(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659500.2 (22)申请日 2021.12.3 0 (71)申请人 重庆大学 地址 400044 重庆市沙坪坝区正 街174号 (72)发明人 熊庆宇　柯采　吴超　杨雨蓉　 易华玲　郭佳浩　吴自慧　林军成　 罗力豪　 (74)专利代理 机构 重庆西南 华渝专利代理有限 公司 50270 代理人 陈香兰 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 神经网络、 训练方法、 方面级情感分析方法、 装置及存 储介质 (57)摘要 本发明公开了一种神经网络、 训练方法、 方 面级情感分析方法、 装置及存储介质， 神经网络 包括： BERT词嵌入模块获得输入文本的语义信息 和输入文本中待分析语句所有单词的词向量； 第 一全连接层基于语义信息获得语义特征向量； 第 二全连接层基于词向量获取单词特征向量； 潜在 狄利克雷分布模块分别提取待分析语句的主题 分布和方面情感对的主题分布； 特征融合层判断 待分析语句是否与方面情感对匹配； 解码标注模 块在解码序列中标记出目标词语位置获得标记 序列； 输出层为基于特征融合层输出的判断结果 输出情感分析结果。 实现多任务输出， 通过特征 融合层将语义信息与主题分布进行特征融合， 学 习到特定 领域的词汇， 提升模型的情感分类任务 效果。 权利要求书3页 说明书8页 附图2页 CN 114298011 A 2022.04.08 CN 114298011 A 1.一种神经网络， 其特 征在于， 包括： BERT词嵌入模块， 被配置为对输入文本进行词嵌入处理， 对词嵌入处理结果进行编码 处理获得所述输入文本的语义信息和输入文本中待分析语句所有单词的词向量， 其中， 所 述输入文本包括待分析语句和方面情感对； 第一全连接层， 被 配置为基于所述语义信息获得语义特 征向量； 第二全连接层， 被 配置为基于所述词向量获取 单词特征向量； 潜在狄利克雷分布模块， 被配置为分别提取待分析语句的主题分布和方面情感对的主 题分布； 特征融合层， 被配置为结合所述语义特征向量、 待分析语句的主题分布和方面情感对 的主题分布判断待分析语句是否与方面情感对匹配； 解码标注模块， 被配置为根据 特征融合层输出的判断结果对待分析语句的所有单词特 征向量进行解码获得解码序列， 并在解码序列中标记出目标词语位置获得 标记序列； 输出层， 被 配置为基于特 征融合层输出的判断结果输出情感分析 结果。 2.如权利要求1所述的神经网络， 其特 征在于， 解码标注模块具体执 行过程为： 当特征融合层输出的判断结果为待分析语句与 方面情感对匹配时， 对待分析语句的所 有单词特征向量进行解码获得解码序列， 在所述解码序列中标记出目标词语位置获得标记 序列； 当特征融合层输出的判断结果为待分析语句不与方面情感对匹配时， 不对待分析语句 的单词特 征向量处 理。 3.如权利要求1或2所述的神经网络， 其特 征在于， 所述输出层具体执 行过程为： 当特征融合层输出的判断结果为待分析语句与方面情感对匹配时， 输出情感分析结 果， 所述情感分析 结果包括特 征融合层的判断结果和标记序列； 当特征融合层输出的判断结果 为待分析语句不与方面情感对匹配时， 输出匹配失败。 4.如权利要求3所述的神经网络， 其特征在于， 当特征融合层输出的判断结果为待分析 语句与方面情感对匹配时， 所述情感分析 结果还包括目标词语、 方面、 情感组成的三元组； 其中， 所述目标词语为待分析语句中位置与 标记序列中标记的目标词语位置对应的单 词。 5.一种神经网络训练方法， 其特 征在于， 包括： 步骤A， 构建训练样本集； 获取每个训练样本中待分析语句是否与方面情 感对匹配的判 断结果， 记为真实判断结果y； 获取每个训练样本中待分析语句对应的标记有目标词语位置 的真实标记序列Τ； 步骤B， 利用全部或部分训练样本对权利要求1 ‑4之一所述的神经网络进行训练获得初 始模型参数θ0； 步骤C， 采用多任务对抗训练方法对步骤B训练后获得的神经网络进一 步训练。 6.如权利要求5所述的神经网络训练方法， 其特 征在于， 所述 步骤C包括： 步骤C1， 所述神经网络设有两个任务， 第一任务为特征融合层判断训练文本中待分析 语句是否与方面情感对匹配， 第二任务为解码标注模块根据特征融合层输出的判断结果 获 取待分析语句的标记有目标词语位置的标记序列； 步骤C2， 进行 K次迭代对抗训练， t∈[1,K]， 第t次迭代过程 为：权　利　要　求　书 1/3 页 2 CN 114298011 A 2步骤C21， 获取一个训练样本， 在训练样本被词嵌入处理后的单词矩阵中加入(t ‑1)次 迭代获得的扰动rt‑1获得对抗样本； 步骤C22， 将对抗样本输入所述神经网络进行训练获得第一任务训练结果和第二任务 训练结果； 步骤C23， 基于第 一任务训练结果与所述训练样本的真实判断结果获得第一任务损失， 基于第二任务训练结果与所述训练样本的真实标记序列获得第二任务损失， 结合第一任务 损失和第二任务损失 获得第t次迭代的扰动rt和模型参数梯度gt； 步骤C24， 优化第一任务损失和第二任务损失； 步骤C3， 基于第K次迭代获得的模型参数梯度gK更新初始模型参数θ0获得最终模型参数 θ 。 7.如权利要求6所述的神经网络训练方法， 其特征在于， 在所述步骤C23中， 第t次迭代 的扰动rt为： 其中， α 表示迭代权重； gadv表示对抗梯度， gadv通过求取第一任 务损失和第二任务损失对扰动的梯度上升得到； ||gadv||F表示对抗梯度的F范数； rt‑1表示 第(t‑1)次迭代获得的扰动； 和/或第t次迭代的模型参数梯度gt为： 其中， gt‑1表示第(t ‑1)次迭代获得 的模型参数梯度； lossCLS(E； y； θ0)表示第一任务损失； E表示本次迭代加入了扰动后的单词 矩阵； Τ表示获取的训练样本的真实标记序列； lossNER(E； Τ； θ0)表示第二任务损失； 表示对[lossCLS(E； y； θ0)+lossNER(E； Τ； θ0)]求取梯度 下降； K表示允许的最大迭代次数。 8.一种方面级情感分析 方法， 其特 征在于， 包括： 设置N个方面和M个情感， 将全部或部分方面分别与不同的情 感组合获得多个方面情感 对， 所述N和M均为 正整数； 获取待分析语句， 将所述待分析语句和不同的方面情感对构建出不同的输入文本； 对每个输入文本进行如下处 理： 将输入文本输入权利要求1 ‑4之一所述的神经网络， 所述神经网络输出所述输入文本 中待分析语句与方面情感对是否匹配的判断结果， 并根据所述判断结果输出情感分析结 果。 9.一种方面级情感分析装置， 其特 征在于， 包括： 方面情感对设置模块， 设置N个方面和M个情感， 将全部或部分方面分别与不同的情感 组合获得多个方面情感对， 所述 N和M均为 正整数； 输入文本构建模块， 获取待分析语句， 将所述待分析语句和不同的方面情感对构建出 不同的输入文本； 神经网络模块， 对输入文本进行处理， 输出所述输入文本中待分析语句与方面情感对 是否匹配的判断结果， 并根据所述判断结果输出情感分析 结果。 10.一种存储有计算机指令的计算机可读存储介质， 其特征在于， 当所述计算机指令被权　利　要　求　书 2/3 页 3 CN 114298011 A 3