(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211161450.X (22)申请日 2022.09.23 (65)同一申请的已公布的文献号 申请公布号 CN 115239937 A (43)申请公布日 2022.10.25 (73)专利权人 西南交通大 学 地址 610031 四川省成 都市二环路北一段 111号 (72)发明人 杨燕　王杰　谢朱洋　张凡　 (74)专利代理 机构 成都点睛专利代理事务所 (普通合伙) 51232 专利代理师 葛启函 (51)Int.Cl. G06V 10/20(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06N 3/08(2006.01) (56)对比文件 CN 114757183 A,202 2.07.15 CN 107066583 A,2017.08.18CN 115033670 A,202 2.09.09 CN 114973044 A,2022.08.30 CN 114547261 A,202 2.05.27 CN 114841335 A,2022.08.02 CN 111753549 A,2020.10.09 CN 112418034 A,2021.02.26 CN 110188343 A,2019.08.3 0 CN 110321918 A,2019.10.1 1 CN 113361396 A,2021.09.07 CN 114330334 A,202 2.04.12 US 20201043 68 A1,2020.04.02 刘路路等.ABAFN： 面向多 模态的方面级情感 分析模型. 《计算机 工程与应用》 .202 2,第58卷 (第10期), 陈巧红等.基 于多层跨模态 注意力融合的图 文情感分析. 《浙江理工大 学学报》 .2021,第47 卷 (第1期), 赵鹏等.融合全 模态自编码器和生成对抗机 制的跨模态检索. 《计算机 辅助设计与图形 学学 报》 .2021,第3 3卷(第10期), (续) 审查员 唐嘉 (54)发明名称 一种跨模态情感预测方法 (57)摘要 本发明公开了一种跨模态情感预测方法， 涉 及自然语言信息处理技术领域。 其主要步骤如 下： （1） 对跨模态图片文本数据进行预处理； （2） 构建神经网络跨模态情感预测模 型， 包括构建图 像‑文本编码模块， 跨模态对齐模块， 跨模态融合 模块， 跨模态关联性学习模块和情感分类模块； （3） 在训练集上训练神经网络跨模态情感预测模 型； （4） 分别在验证集、 测试集上对神经网络跨模 态情感预测模型进行验证和 测试。 [转续页] 权利要求书2页 说明书5页 附图2页 CN 115239937 B 2022.12.20 CN 115239937 B (56)对比文件 冯广等.基 于话语间时序多 模态数据的情绪 分析方法. 《计算机系统应用》 .202 2,第31卷(第5 期), Guanlin Zhai等.Multi-A ttention Fusion Modeling for Sentiment Analy sis of Educational Big Data. 《BIG DATA MI NING AND ANALYTICS》 .2020,第3卷(第4期), 安迅.基于跨模态融合的图文情感分析方法 研究. 《中国优秀硕士学位 论文全文数据库 信息 科技辑》 .2021,(第0 6期), Huanglu Wen 等.Cross-modal co ntext- gated convolution for multi-modal sentiment analysis. 《Pat tern Recogn ition Letters》 .2021,第146卷 Zhibang Quan 等.Multimodal Sentiment Analysis Based o n Cross-Modal Attention and Gated Cycl ic Hierarc hical Fusi on Networks. 《Computati onal Intelligence and Neuroscience》 .202 2,第2022卷 Jiahao Zheng等.Multimodal Representati ons Learn ing Based o n Mutual Informati on Maximizati on and Mi nimization and Identity Embed ding for Multimodal Sentiment Analysis. 《arXiv》 .202 2,2/2 页 2[接上页] CN 115239937 B1.一种跨模态情感预测方法， 其特 征在于： 所述 跨模态情感预测方法包括以下步骤： 步骤一、 对待分析的跨模态情感的图片、 文本数据进行 预处理： (1)将每张输入图片转换为大小为2 24×224像素的图像， 记为 ； (2)将文本数据的每个输入句子通过插入两个特殊标记进行预处理， 即将[CLS ]添加到 句子开头， [ SEP]附加到句子末尾， 记为 ； (3)将预处 理后的图像文本数据按照8 :1:1的比例划分为训练集、 验证集和 测试集； 步骤二、 构建神经网络跨模态情感预测模型： (1)构建图像 ‑文本编码模块： 使用预训练模型ResNet作为视觉编码器， 对步骤一中预处理后的图像 ， 进行编码获 得图像特 征 ； 使用预训练模型BERT作为文本编码器， 对步骤一中预处理后的文本 ， 进行编码获得 文本特征 ； (2)构建跨模态对齐模块： 根据图像特征 和文本特征 构建正负样本， 具体地， 首先将预处理后的图像、 文本数 据分为两个以上的批次， 对 同一批次内的图文输入对 进行样本分类， 将来自相同输 入对的图文特 征记为正样本 ， 来自不同输入 对的图文特 征记为负 样本 ； 将每个输入对 导入并经过两个不同的全连接层， 得到对齐后的图文特征向量 ， 并以此计算对比损失函数 ； (3)构建跨模态融合模块： 利用多头注意力机制融合图文特征向量 ， 得到融合后的跨模态特征 ,即： ； 其中， 表示多头注意力机制， 包括层归一 化和残差连接； (4)构建跨模态关联性学习模块： 对于对齐后的图像特征向量 和文本特征向量 ， 分别构建两个变分自编码器 和 ， 即： 权　利　要　求　书 1/2 页 2 CN 115239937 B 3