(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210916432.1 (22)申请日 2022.08.01 (71)申请人 南京邮电大 学 地址 210012 江苏省南京市栖霞区文苑路9 号 (72)发明人 孙雁飞　武长超　亓晋　许斌　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 王丽霞 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/33(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06K 9/62(2022.01) (54)发明名称 一种基于注意力机制的方面级文本情感分 析方法及系统 (57)摘要 本发明公开了一种基于注意力机制的方面 级文本情感分析方法及系统。 方法包括： 对文本 数据进行预处理， 将预处理后的文本数据转换为 包含上下文语境信息的词向量， 将得到的词向量 输入文本情感分析模型， 输出得到文本情感倾 向。 文本情感分析模型包括若干神经网络单元、 若干局部注意力机制单元、 全局注意力机制单 元、 权重融合单元、 全连接层和softmax层。 本发 明能够充分挖掘语义， 同时兼顾局部和全局特 征， 使得模型能够高效地拟合， 提升了模型准确 率。 权利要求书2页 说明书8页 附图3页 CN 115329073 A 2022.11.11 CN 115329073 A 1.一种基于注意力机制的方面级 文本情感分析 方法， 其特 征在于， 包括： 对文本数据进行 预处理； 将预处理后的文本数据转换为包 含上下文语境信息的词向量； 将得到的词向量输入文本情感分析模型， 输出 得到文本情感倾向； 其中， 文本情 感分析模型包括若干神经网络单元、 若干局部注意力 机制单元、 全局注意 力机制单元、 权重融合单元、 全连接层和softmax层， 若干神经网络单元和若干局 部注意力 机制单元依次交替连接， 全局注意力机制单元的输入连接第一级神经网络的输入和最后一 级神经网络的输出， 权重融合单元同时与各局部注意力机制单元和全局注意力机制单元连 接。 2.根据权利要求1所述的一种基于注意力机制的方面级文本情感分析方法， 其特征在 于， 每个局部注意力机制单元根据上一级神经网络单元 的输入与输出进行权重计算， 输出 带注意力的词向量， 作为下一级神经网络单 元的输入； 全局注意力机制单元根据第一级神经网络单元的输入与最后一级神经网络单元的输 出进行权 重计算， 输出 带全局注意力权 重的词向量； 权重融合单元将各个局部注意力机制单元的权重和全局注意力机制单元的权重进行 融合得到融合权重， 融合权重与最后一级局部注意力机制单元的输出作乘积累加， 输出对 应的词向量， 各词向量经融合后输入 全连接层中； 经全连接层处 理后的数据输入softmax层进行情感极性分类， 输出 得到文本情感倾向。 3.根据权利要求1所述的一种基于注意力机制的方面级文本情感分析方法， 其特征在 于， 所述若干神经网络单元中， 前M个神经网络单元采用BiGRU网络， 其余神经网络单元采用 GCN网络， 1≦M <N， N为神经网络单 元的个数。 4.根据权利要求1所述的一种基于注意力机制的方面级文本情感分析方法， 其特征在 于， 所述对文本数据进行 预处理， 包括： 删除文本数据中的重复评论、 表情符号和动静态图类评论， 获得 结构化文本数据。 5.根据权利要求1所述的一种基于注意力机制的方面级文本情感分析方法， 其特征在 于， 采用基于transformer的BERT预训练模型将预处理后的文本数据转换为包含上下文语 境信息的词向量， 具体包括： 采用BERT预训练模型对预处理后的文本数据进行词切割， 将完整的句子切割成单个的 字词； 对所获得的字词进行语义编码、 位置编码和段落编码， 得到包含上下文语境信息的词 向量。 6.根据权利要求2所述的一种基于注意力机制的方面级文本情感分析方法， 其特征在 于， 所述每个局部注意力机制单元根据上一级神经网络单元 的输入与输出进行权重计算， 输出带注意力的词向量， 作为下一级神经网络单 元的输入， 包括： 将上一级神经网络单元的输出和输入分别作为本级局部注意力 机制单元中的query和 key值， 将两者做相似度计算操作再通过softmax操作得到各词向量注意力权 重； 将各词向量注意力 权重与本级局部注意力 机制单元输入的词向量作乘积累加， 输出带 注意力的词向量。 7.根据权利要求6所述的一种基于注意力机制的方面级文本情感分析方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115329073 A 2于， 所述相似度的计算公式为： 其中， Query代表上一级神经网络单元的输出词向量， Keyj代表上一级神经网络单元输 入的整体文本向量中的第j个词向量。 8.根据权利要求6所述的一种基于注意力机制的方面级文本情感分析方法， 其特征在 于， 所述softmax操作计算公式如下： 其中， wj代表文本中第j个词向量应该得到的注意力权重， Lx代表整个文本的长度， simj 代表第j个词向量与当前词向量的相似程度。 9.根据权利要求2所述的一种基于注意力机制的方面级文本情感分析方法， 其特征在 于， 所述权重融合单元将各个局部注意力机制单元的权重和全局注意力机制单元的权重进 行融合得到融合权 重， 计算公式如下： 其中， Wkend代表权重融合单元中第k个词向量对当前词向量的权重的大小， Lx代表着整 个文本中词向量的大小， N代表着局部注意力机制单元数， Wkm代表着第k个词向量在第m个局 部注意力机制单元上的权重， 当m＝0时， wk0代表着第k个词向量在全局注意力机制单元中的 权重， WkN代表着第k个词向量在最后一个局部注意力机制单 元中的权 重。 10.一种基于注意力机制的方面级 文本情感分析系统， 其特 征在于， 包括： 文本预处 理模块， 对文本数据进行 预处理； 词嵌入模块， 将预处 理后的文本数据转换为包 含上下文语境信息的词向量； 情感分析模块， 将得到的词向量输入文本情感分析模型， 输出 得到文本情感倾向； 其中， 文本情 感分析模型包括若干神经网络单元、 若干局部注意力 机制单元、 全局注意 力机制单元、 权重融合单元、 全连接层和softmax层， 若干神经网络单元和若干局 部注意力 机制单元依次交替连接， 全局注意力机制单元的输入连接第一级神经网络的输入和最后一 级神经网络的输出， 权重融合单元同时与各局部注意力机制单元和全局注意力机制单元连 接。权　利　要　求　书 2/2 页 3 CN 115329073 A 3