(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211342234.5 (22)申请日 2022.10.31 (71)申请人 暨南大学 地址 510632 广东省广州市天河区黄埔大 道西601号 (72)发明人 黄斐然　杨紫宏　支庭荣　 (74)专利代理 机构 广州汇盈知识产权代理事务 所(普通合伙) 44603 专利代理师 邓有才 (51)Int.Cl. G06F 40/30(2020.01) G06N 3/04(2006.01) G06F 40/242(2020.01) G06F 40/289(2020.01) (54)发明名称 一种面向特定目标的社交媒体推文情感分 析方法 (57)摘要 本发明公开了一种面向特定目标的社交媒 体推文情感分析方法， 包括： 对社交媒体推文数 据进行预处理， 得到目标文本和特定目标； 将目 标文本经过嵌入层， 得到目标文本词向量； 将特 定目标经过嵌入层， 得到特定目标词向量； 将目 标文本词向量经过自注意力结构， 得到自注意力 结果； 将自注 意力结果与特定目标词向量结合并 经过跨越注意力结构， 得到跨越注意力结果； 将 跨越注意力结果进行拼接， 得到注意力表示矩 阵； 将注意力表示矩阵依次经过池化层、 全连接 层和softmax层， 得到 特定目标的情感倾向结果。 本发明基于Transformer结构中的注意力机制， 融合局部注意力机制和含有方位信息的注意力 机制， 提高针对特定目标情感分析的准确性。 权利要求书3页 说明书10页 附图5页 CN 115392260 A 2022.11.25 CN 115392260 A 1.一种面向特定目标的社交媒体 推文情感分析 方法， 其特 征在于， 包括： 对社交媒体 推文数据进行 预处理， 得到目标文本和特定目标; 将所述目标文本经过嵌入层， 得到目标文本词向量； 将所述特定目标经过嵌入层， 得到 特定目标词向量； 将所述目标文本词向量经 过自注意力结构， 得到自注意力结果； 将所述自注意力结果与所述特定目标词向量结合并经过跨越注意力结构， 得到跨越注 意力结果； 将所述跨越注意力结果进行拼接， 得到注意力表示矩阵； 将所述注意力表示矩阵依次经过池化层、 全连接层和softmax层， 得到特定目标的情感 倾向结果。 2.如权利要求1所述的面向特定目标的社交媒体推文情 感分析方法， 其特征在于， 所述 对社交媒体 推文数据进行 预处理， 包括： 对所述社交媒体推文数据进行清洗， 删除所述社交媒体推文数据中符号、 乱码字符和 重复数据信息， 得到目标文本； 对所述目标文本进行分词处 理， 得到多个文本词序列； 将所述文本词序列转 化成文本向量， 得到所述目标文本词向量。 3.如权利要求1所述的面向特定目标的社交媒体推文情 感分析方法， 其特征在于， 所述 对社交媒体推文数据进 行预处理之前， 还包括： 构建相关词典， 所述相关词典包括目标关键 词典、 目标情感词典和分词 词典； 构建目标关键词典， 包括： 选取包含所述目标文本的语料库， 使用现有分词库对所述语料库进行分词和词性标 注， 选择所需词性； 对所述目标文本 中的目标词进行重要性统计， 将重要性超过预设值的目标词输入所述 目标关键词典， 建立停用词表并删除无效词语； 构建目标情感词典， 包括： 将现有情感词典与手动构建的情感词典进行组合， 得到目标情感词典； 获取所述目标情感词典中每 个情感词的情感值； 构建分词词典， 包括： 将所述目标关键词典、 所述目标情感词典和现有分词库结合， 得到分词 词典； 将所述分词 词典的分词 词语进行编码， 得到分词 词语向量。 4.如权利要求3所述的面向特定目标的社交媒体推文情 感分析方法， 其特征在于， 所述 将所述注意力表 示矩阵依次经过池化层、 全连接层和softmax层， 得到特定目标的情感倾向 之前， 包括： 构建目标文本的BERT预训练模型， 将所述目标文本进行降维， 提取含有语义信息的向 量表示， 得到目标文本中每 个词语对应的唯一向量； 将目标文本情感信 息编码融入所述目标情感词典中得到目标文本词向量； 对于不在情 感词典中的词语， 取情感信息编码的平均值作为目标文本词向量。 5.如权利要求1所述的面向特定目标的社交媒体推文情 感分析方法， 其特征在于， 所述 将所述目标文本词向量经 过自注意力结构， 得到自注意力结果， 包括：权　利　要　求　书 1/3 页 2 CN 115392260 A 2将所述目标文本词向量经 过局部自注意力结构， 得到局部自注意力结果； 将所述目标文本词向量经 过含有方位信息的自注意力结构， 得到方位自注意力结果； 将所述局部自注意力结果和所述方位自注意力结果结合， 得到自注意力结果。 6.如权利要求5所述的面向特定目标的社交媒体推文情 感分析方法， 其特征在于， 将所 述目标文本词向量经 过局部自注意力结构， 得到局部自注意力结果， 包括： 使用局部注意力结构获取每个词语与其附近词语的交互信 息， 局部自注意力结构的表 示公式为： ， 其中， ， ； 局部自注意力矩阵通过A矩阵来限制键矩 阵和值矩阵的大小， 得到一个词语的局部注意力表示； A矩阵的表示形式为： ， 其中， 表示当前词语 的位置； 表示“局 部”的大小； 表示特定目标的位置； 对所述社交媒体推文数据中的每个词 语重复操作， A矩 阵中的j也随之改变， 拼接所有结果得到单头的局部自注意力结果； 使用多头的局部注意力机制： 重复局部自注意力结构至少三次， 选用不同的参数矩阵 、 和 得到多个不同的局部注意力表示； 将所有局部注意力表示进行拼接， 并经 过参数矩阵投影得到局部注意力结果。 7.如权利要求6所述的面向特定目标的社交媒体推文情 感分析方法， 其特征在于， 所述 将所述目标文本词向量经 过含有方位信息的自注意力结构， 得到方位自注意力结果， 包括： 通过双向长短期记 忆网络 （Bi ‑LSTM） 使所述目标文本词向量包 含方位信息； 正向长短期记忆网络包括输入门、 遗忘门、 输出门结构， 将所述目标文本词向量经过正 向LSTM得到词向量 ； 将所述目标文本词向量经过反向LSTM处理后的得到词向量 ， 并将 所述词向量 和所述词向量 整合， 整合 函数为： ， 是相加或者拼接成一个向量操作， 则表示含有方位信 息的文本向量； 对所述文本向量进行自注意力操作， 操作函数为： 将文本向量分别乘三个参数矩阵得到查询矩阵Q、 键矩阵K和值矩阵V； 得到单头的自注 意力结果； 使用不同的查询、 键和值矩阵得到多个自注意力结果， 将自注意力结果进行拼接和参 数矩阵降维投影， 得到方位自注意力结果。 8.如权利要求6所述的面向特定目标的社交媒体推文情 感分析方法， 其特征在于， 所述 将所述自注意力结果与所述特定目标词向量结合并经过跨越注意力结构， 得到跨越注意力权　利　要　求　书 2/3 页 3 CN 115392260 A 3