(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210965059.9 (22)申请日 2022.08.12 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 蔡国永　王顺杰　 (74)专利代理 机构 桂林市华杰 专利商标事务所 有限责任公司 451 12 专利代理师 周雯 (51)Int.Cl. G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于协同注意力融合的方面级多模态 情感分析方法 (57)摘要 本发明提出了一种基于协同注 意力的全局 ‑ 局部特征融合网络的方面级多模态情感分析方 法， 包括如下步骤： 1） 获得左文本 上下文表示、 右 文本上下文表 示、 方面聚合表 示以及图像局部表 示； 2） 生成方面引导的全局文本特征表示和方面 引导的全局图像特征表示； 3） 构建跨模态特征交 互机制来同时生成融入视觉的局部文本特征表 示和融入文本的局部视觉特征表示； 4） 构建门控 的多模态融合机制； 5） 得到情感极性预测结果。 该方法在方面级多模态情感分析任务中性能得 到提升， 能够有效地捕获模态内的全局语义关联 和模态间的局部 语义对齐 。 权利要求书3页 说明书12页 附图1页 CN 115293170 A 2022.11.04 CN 115293170 A 1.一种基于协同注意力融合的方面级多模态情感分析方法， 其特征在于， 包括如下步 骤： 1） 获得左文本上下文表示、 右文本上下文表示、 方面聚合表示以及图像局部表示： 采用 预训练BERT模型或者Glove词嵌入得到文本嵌入序列， 再使用长短时记忆网络来学习文本 嵌入序列的上下文依赖， 以此来得到左文本上下文表示、 右文本上下文表示以及方面表示， 并对方面表示进行平均池化得到方面聚合表示； 对于图像， 采用ResNet网络得到图像的特 征表示， 并将其 转换成图像局部表示； 2） 生成方面引导的全局文本特征表示和方面引导的全局图像特征表示： 利用方面聚合 表示引导的注意力机制来分别引导步骤1） 得到的左文本上下文表示、 右文本上下文表示， 然后使用低秩线性池化来将方面聚合表示分别和方面聚合表示引导的左、 右文本上下文表 示进行交互， 并将交互后的结果拼接来得到方面引导的全局文本特征表示； 利用方面聚合 表示引导的注意力机制来引导步骤1） 得到的图像局部表示来得到方面引导的全局图像特 征表示； 3） 构建跨模态特征交互机制来同时生成融入视觉的局部文本特征表示和融入文本的 局部视觉特征表示： 通过多头自注意力来分别学习步骤1） 得到的文本嵌入序列和图像局部 表示， 然后得到文本序列上下文特征和图像局部上下文特征， 并使用文本引导的视觉上下 文注意力机制得到文本引导的视觉上下文 特征， 然后通过门控机制将其和文本序列上下文 特征融合来生成融入视觉的局部文本特征表示； 同时， 使用视觉引导的文本上下文注意力 机制得到视觉引导的文本上下文 特征， 通过门控机制将其和图像局部上下文 特征融合来生 成融入文本的局部 视觉特征表示； 4） 构建门控的多模态融合机制： 采用门控机制将步骤2） 得到的方面引导的全局文本特 征表示来过滤融合步骤2） 得到的方面引导的全局图像特征表示， 得到全局多模态融合表 示； 同时又将步骤3） 得到的融入视觉的局部文本特征表示和融入文本的局部视觉特征表 示 进行融合， 得到局部多模态融合表示； 5） 得到情感极性预测结果： 对步骤2） 得到的全局文本特征表示、 全局图像特征表示和 步骤4） 得到的全局多模态融合表 示以及局部多模态融合表示拼接后输入到 softmax函数得 到情感分类的极性。 2.根据权利要求1所述的基于协同注意力融合的方面级多模态情感分析方法， 其特征 在于， 所述步骤1） 中的获得左文本上下文表 示、 右文本上下文表 示、 方面聚合表示以及图像 局部表示包括如下步骤： 1.1） 首先， 采用预训练BERT模型或者Glove词嵌入得到文本嵌入序列， 再使用长短时记 忆网络来学习文本嵌入序列的上下文依赖， 以此来得到左文本上下文表示、 右文本上下文 表示以及方面表示， 并对方面表示进行平均池化得到方面聚合表示； 1.2） 对于图像， 采用ResNet模型抽 取图像特征得到图像的特征表示， 并把图像分为不 同的区域， 得到图像局部表示以便 于方面进行细粒度的引导图像局部特 征。 3.根据权利要求1所述的基于协同注意力融合的方面级多模态情感分析方法， 其特征 在于， 所述步骤2） 中的生 成方面引导的全局文本特征表示和方面引导的全局图像特征表 示 包括如下步骤： 2.1） 对于生成方面引导的全局文本特 征表示：权　利　要　求　书 1/3 页 2 CN 115293170 A 2①利用步骤1） 中得到的左文本上下文表示与方面聚合表示的双线性交互关系， 计算左 文本上下文中每个隐状态的注意力权重， 然后加权求和得到方面聚合表示引导的左文本上 下文表示， 采用同样的方法得到方面聚合表示引导的右文本上 下文表示； ② 采用低秩双线性池化来分别学习方面聚合表示与方面聚合表示引导的左、 右文本 上下文表示的交互， 并将得到的特征拼接， 得到方面引导的全局文本特征表示， 低秩双线性 池化能够关注特 征的两两交互， 能够实现方面和左右上 下文的有效关注； 2.2） 对于方面引导的全局图像特征表示， 利用步骤1） 中得到的图像局部表示与方面聚 合表示的双线性交互关系， 计算图像的每个区域的注意力权重， 然后加权求和得到方面引 导的全局图像特 征表示。 4.根据权利要求1所述的基于协同注意力融合的方面级多模态情感分析方法， 其特征 在于， 所述步骤3） 中的构建跨模态特征交互机制来同时生成 融入视觉的局部文本特征表 示 和融入文本的局部 视觉特征表示包括如下步骤： 3.1） 通过多头自注意力来分别学习步骤1） 中得到的文本嵌入序列和图像局部表示； 3.2） 设计文本引导的视觉上下文注意力和视觉引导的文本上下文注意力来各自建模 跨模态的语义关联对齐： ①融入视觉的局部文本特 征表示； 首先将经过多头自注意力学习后的文本序列上下文特征中第j个词的向量和经过多头 自注意力学习后的图像局部上下文特征中第i个区域向量， 投影到c维公共空间， 然后融合 两者的特征， 随后， 将 融合后的向量进行线性变换， 依 次计算文本序列上下文特征中的第j 个词和其他图像局部上下文特征的注意力分数， 通过softmax操作 获得归一化的注意力分 数， 然后将注意力分数加权到每个图像局部特征区域并求和， 从而得到第j 个词引导的视觉 上下文特征， 由于不同的模态对情感贡献的程度不一样， 因此， 使用一个门控融合方式来聚 合该词和该词引导的视觉上下文特征， 以此来获得所有词引导的视觉上下文特征， 将这些 特征平均池化得到融入视 觉的局部文本特 征表示； ②融入文本的局部 视觉特征表示： 首先将经过多头自注意力学习后的图像局部上下文特征中第 i个区域向量和经过多头 自注意力学习后的文本序列上下文特征中第j个词的向量， 投影到c维公共空间， 然后融合 两者的特征， 随后， 将 融合后的向量进行线性变换， 依 次计算图像局部上下文特征中的第i 个视觉块和其他文本序列的注 意力分数， 通过softmax操作获得归一化的注 意力分数， 然后 将注意力分数加权到每个文本序列并求和， 从而得到第i个视觉块引导的文本上下文 特征， 由于不同的模态对情感贡献的程度不一样， 因此， 使用一个门控融合方式来聚合该视觉块 和该视觉块引导的文本上下文特征， 以此来获得所有视觉块引导的文本上下文特征， 将这 些特征平均池化得到融入文本的局部 视觉特征表示。 5.根据权利要求1所述的基于协同注意力融合的方面级多模态情感分析方法， 其特征 在于， 所述 步骤4） 中的构建门控的多模态融合机制包括如下步骤： 4.1） 采用门控机制将步骤2） 得到的方面引导的全局文本特征表示来过滤融合步骤2） 得到的方面引导的全局图像特 征； 4.2） 采用双线性池化操作来捕捉全局文本特征表示和过滤后的方面引导的全局图像 特征之间的交 互来得到全局多模态融合表示；权　利　要　求　书 2/3 页 3 CN 115293170 A 3