(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210637534.X (22)申请日 2022.06.08 (65)同一申请的已公布的文献号 申请公布号 CN 114707518 A (43)申请公布日 2022.07.05 (73)专利权人 四川大学 地址 610065 四川省成 都市武侯区一环路 南一段24号 (72)发明人 琚生根　邓航　李怡霖　鄢凡力　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 荣颖佳 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/211(2020.01) G06F 40/284(2020.01) G06N 3/04(2006.01) (56)对比文件 CN 111259142 A,2020.0 6.09CN 112131383 A,2020.12.25 CN 113157919 A,2021.07.23 CN 110222349 A,2019.09.10 CN 111339255 A,2020.0 6.26 CN 113641820 A,2021.1 1.12 US 2022092267 A1,202 2.03.24 CN 112633010 A,2021.04.09 邓航 等.面向语义片段结构化自注意力的 目标情感分析. 《小型微型计算机系统》 .202 2, Zhang J 等.Target-guided structured attention network for target-dependent sentiment analysis. 《Transacti ons of the Association for Computati onal Linguistics》 .2020, 刘建伟 等.深度学习中注意力机制研究进 展. 《工程科 学学报》 .2021, Youwei So ng 等.Attentional Encoder Network for Target Sentiment Classificati on. 《https://arxiv.org/abs/ 1902.09314v2》 .2019, 审查员 王悦 (54)发明名称 面向语义片段的目标情感分析方法、 装置、 设备及介质 (57)摘要 本发明公开了面向语义片段的目标情感分 析方法、 装置、 设备及介质， 应用于目标情感分析 领域， 所述方法中， 将文本样本输入至嵌入层， 得 到句子词向量、 上下文词向量以及目标词向量； 利用注意力编码层， 对句子词向量、 上下文词向 量以及目标词向量进行编码， 得到对应的隐状态 表示； 将上下文和目标词的隐状态表 示输入至多 头注意力层， 得到目标上下文语义特征表示； 将 句子隐状态表 示输入至结构化自注 意力层， 得到 句子分段语义特征表示； 将目标上下文语义特征 表示和句子分段语义特征表示输入至预测层， 得 到目标词情感预测结果。 由此， 本发明使模型将注意力集中在各个语义分段， 进而抑制了词语上 的噪声， 提高了目标情感分析任务的准确性。 权利要求书3页 说明书12页 附图4页 CN 114707518 B 2022.08.16 CN 114707518 B 1.一种面向语义片段的目标情感分析 方法， 其特 征在于， 包括： 将获取到的文本样本输入至预设的目标情感分析模型的嵌入层， 得到所述文本样本的 句子词向量、 上 下文词向量以及目标词向量； 基于所述目标情感分析模型的注意力编码层， 根据所述句子词向量、 所述上下文词向 量以及所述目标词向量， 得到句子隐状态表示、 上下文隐状态表示及目标词隐状态表示， 其 中， 所述注意力编码层包括第一多头注意力编码模块、 第二多头注意力编码模块及第三多 头注意力编 码模块， 所述第一多头注意力编码模块和所述第二多头注意力编码模块均包括 依次相连的第一多头注意力单元和卷积单元， 所述第三多头注意力编 码模块包括依次相连 的第二多头注意力单 元和卷积单 元； 将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模型的 多头注意力层， 以获取目标词对应的上 下文语义特 征， 得到目标 上下文语义特 征表示； 将所述句子隐状态表示输入至所述目标情感分析模型的结构化自注意力层， 以获取所 述句子隐状态对应的多个 语义分段的语义特 征， 得到句子分段语义特 征表示； 将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标情感 分析模型的预测层， 得到所述文本样本的目标词情感预测结果， 其中， 所述预测层用于将所 述目标上下文语义特征表示池化后， 根据所述句子 分段语义特征表示与池化处理后的目标 上下文语义特征表示的拼接结果进行目标词情感预测， 所述预测层 包括平均池化层和全连 接层； 所述基于所述目标情感分析模型的注意力编码层， 根据所述句子词向量、 所述上下文 词向量以及所述目标词向量， 得到句 子隐状态表示、 上下文隐状态表示及目标词隐状态表 示， 包括： 基于所述第一多头注意力编码模块和所述第二多头注意力编码模块的第一多头注意 力单元， 将所述句子词向量、 所述上下文词向量分别映射为对应的查询表示、 键表示及值表 示； 基于所述第 三多头注意力编码模块的第 二多头注意力单元， 将所述目标词向量映射为 所述目标词向量对应的键表示和值表示， 并将所述上下文词向量映射为所述目标词向量对 应的查询表示； 根据所述句子词向量、 所述上下文词向量以及所述目标词向量分别对应的查询表示、 键表示及值表示， 得到句子语义特 征表示、 上 下文语义特 征表示及目标语义特 征表示； 将所述句子语义特征表示、 所述上下文语义特征表示及所述目标语义特征表示分别 输 入至所述第一多头注 意力编码模块、 所述第二多头注意力编码模块及所述第三多头注意力 编码模块的卷积单元以进行逐点卷积变换， 得到句 子隐状态表示、 上下文隐状态表示及目 标词隐状态 表示； 所述将所述上下文隐状态表示和所述目标词隐状态表示输入至所述目标情感分析模 型的多头注意力 层， 以获取目标词对应的上下文语义特征， 得到目标上下文语义特征表示， 包括： 利用所述目标情感分析模型的多头注意力层， 将所述目标词隐状态表示映射为所述目 标词隐状态对应的键表示和值表示， 并将所述上下文隐状态表示映射为所述目标词隐状态 表示对应的查询表示；权　利　要　求　书 1/3 页 2 CN 114707518 B 2利用所述目标词隐状态表示对应的查询表示、 键表示和值表示， 得到目标上下文语义 特征表示； 所述将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至所述目标 情感分析模型的预测层， 得到所述文本样本的目标词情感预测结果， 包括： 将所述目标上下文语义特征表示输入至所述平均池化层， 得到池化处理后的目标上下 文语义特 征表示； 将所述句子分段语义特征表示与 所述池化处理后的目标上下文语义特征表示连接， 得 到所述文本样本对应的文本表示； 将所述文本表示输入至所述全连接层， 得到所述文本表示对应的分类输出； 基于预设分类器， 根据 所述文本样本对应的分类输出计算所述文本样本的目标词情感 预测结果。 2.根据权利要求1所述的面向语义片段的目标情 感分析方法， 其特征在于， 所述嵌入层 包括已经 过预训练的基于转换器的双向编码表征模型。 3.一种面向语义片段的目标情感分析装置， 其特 征在于， 包括： 嵌入模块， 用于将获取到的文本样本输入至预设的目标情感分析模型的嵌入层， 得到 所述文本样本的句子词向量、 上 下文词向量以及目标词向量； 隐状态编码模块， 用于基于所述目标情感分析模型的注意力编码层， 根据所述句子词 向量、 所述上下文词向量以及所述目标词向量， 得到句子隐状态表 示、 上下文隐状态表示及 目标词隐状态表示， 其中， 所述注意力编码层 包括第一多头注意力编 码模块、 第二多头注 意 力编码模块及第三多头注意力编码模块， 所述第一多头注意力编 码模块和所述第二多头注 意力编码模块均包括依次相连的第一多头注意力单元和卷积单元， 所述第三多头注意力编 码模块包括依次相连的第二多头注意力单 元和卷积单 元； 第一特征获取模块， 用于将所述上下文隐状态表示和所述目标词隐状态表示输入至所 述目标情感分析模型 的多头注意力层， 以获取目标词对应的上下文语义特征， 得到目标上 下文语义特 征表示； 第二特征获取模块， 用于将所述句子隐状态表示输入至所述目标情 感分析模型的结构 化自注意力层， 以获取所述句 子隐状态对应的多个语义分段的语义特征， 得到句 子分段语 义特征表示； 预测模块， 用于将所述目标上下文语义特征表示和所述句子分段语义特征表示输入至 所述目标情感分析模 型的预测层， 得到所述文本样本的目标词情感预测结果， 其中， 所述预 测层用于将所述目标上下文语义特征表示池化后， 根据所述句子分段语义特征表示与池化 处理后的目标上下文语义特征表示的拼接结果进 行目标词情感预测， 所述预测层包括平均 池化层和全连接层； 所述隐状态编码模块， 包括： 第一映射子模块， 用于基于所述第 一多头注意力编码模块和所述第 二多头注意力编码 模块的第一多头注意力单元， 将所述句 子词向量、 所述上下文词向量分别映射为对应的查 询表示、 键表示及值表示； 第二映射