(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210110386.6 (22)申请日 2022.01.28 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 曹健健　李煜林　钦夏孟　姚锟　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 杨静 (51)Int.Cl. G06V 30/19(2022.01) G06V 30/18(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) (54)发明名称 视觉问答方法、 装置、 电子设备以及存储介 质 (57)摘要 本公开提供了一种视觉问答方法、 装置、 电 子设备以及存储介质， 涉及人工智能技术领域， 具体为深度学习、 计算机视觉技术领域， 可应用 于图像处理等场景。 具体实现方案为： 对文本图 像的文本图像数据进行处理， 得到文本图像的至 少一个文本区域各自的局部视觉特征； 对待回答 问题的待回答问题数据和文本图像的至少一个 文本区域进行语义特征提取， 得到多个文本区域 各自的浅层语义特征； 根据多个文本区域各自的 浅层语义特征、 局部视觉特征和位置特征， 得到 多个文本区域各自的深层语义特征； 对多个文本 区域各自的深层语义特征进行处理， 生成针对待 回答问题的答案 。 权利要求书3页 说明书11页 附图4页 CN 114445826 A 2022.05.06 CN 114445826 A 1.一种视 觉问答方法， 包括： 对文本图像的文本图像数据进行处理， 得到所述文本图像的至少一个文本区域各自的 局部视觉特征； 对待回答问题的待回答问题数据和所述文本图像的至少一个文本区域进行语义特征 提取， 得到多个文本区域各自的浅层语义特征， 其中， 所述待回答问题数据是根据所述文本 图像数据确定的； 根据所述多个文本区域各自的浅层语义特征、 局部视觉特征和位置特征， 得到所述多 个文本区域各自的深层语义特征， 其中， 所述位置特征与所述文本图像的至少一个文本区 域的位置特 征相关联； 以及 对所述多个文本区域各自的深层语义特征进行处理， 生成针对所述待回答问题的答 案。 2.根据权利要求1所述的方法， 其中， 所述根据所述多个文本区域各自的浅层语义特 征、 局部视觉特征和位置特 征， 得到所述多个文本区域各自的深层语义特 征， 包括： 针对所述多个文本区域中的每个文本区域， 对所述每个文本区域的浅层语义特征、 局 部视觉特征和位置特 征进行融合， 得到所述多个文本区域各自的融合特 征； 以及 对所述多个文本区域各自的融合特征进行语义特征提取， 得到所述多个文本区域各自 的深层语义特 征。 3.根据权利要求2所述的方法， 其中， 所述对所述多个文本区域各自的融合特征进行语 义特征提取， 得到所述多个文本区域各自的深层语义特 征， 包括： 基于注意力策略， 对所述多个文本区域各自的融合特征进行语义特征提取， 得到所述 多个文本区域各自的深层语义特 征。 4.根据权利要求3所述的方法， 其中， 所述基于注意力策略， 对所述多个文本区域各自 的融合特 征进行语义特 征提取， 得到所述多个文本区域各自的深层语义特 征， 包括： 利用深层语义提取模型处理所述多个文本区域各自的融合特征， 得到所述多个文本区 域各自的深层语义特征， 其中， 所述深层语义特征模型包括多头自注意机制层和前馈神经 网络层。 5.根据权利要求1～4中任一项所述的方法， 其中， 所述对文本 图像的文本 图像数据进 行处理， 得到所述文本图像的至少一个文本区域各自的局部 视觉特征， 包括： 对所述文本图像的文本图像数据进行视 觉特征提取， 得到全局视 觉特征； 以及 基于所述至少一个文本区域各自的位置信息， 根据所述全局视觉特征， 得到所述至少 一个文本区域各自的局部 视觉特征。 6.根据权利要求1～5中任一项所述的方法， 还 包括： 对所述至少一个文本区域各自的位置信 息进行位置编码， 得到所述至少一个文本区域 各自的位置特 征。 7.根据权利要求1～6中任一项所述的方法， 其中， 所述对待回答问题的待回答问题数 据和所述文本图像的至少一个文本区域进 行语义特征提取， 得到多个文本区域各自的浅层 语义特征， 包括： 利用词编码策略和语义提取策略依次处理所述待回答问题的待回答问题数据， 得到与 所述待回答问题对应的至少一个文本区域各自的浅层语义特 征； 以及权　利　要　求　书 1/3 页 2 CN 114445826 A 2针对所述文本图像的至少一个文本区域中的每个文本区域， 利用所述词编码策略和所 述语义提取策略依次处 理所述每 个文本区域， 得到所述每 个文本区域的浅层语义特 征。 8.根据权利要求1～7中任一项所述的方法， 其中， 所述对所述多个文本区域各自的深 层语义特 征进行处 理， 生成针对所述待回答问题的答案， 包括： 根据所述多个文本区域各自的深层语义特征， 得到所述多个文本区域各自的分类结 果； 以及 根据所述多个文本区域各自的分类结果， 生成针对所述待回答问题的答案 。 9.一种视 觉问答装置， 包括： 第一处理模块， 用于对文本 图像的文本 图像数据进行处理， 得到所述文本 图像的至少 一个文本区域各自的局部 视觉特征； 获得模块， 用于对待回答问题的待回答问题数据和所述文本图像的至少一个文本区域 进行语义特征提取， 得到多个文本区域各自的浅层语义特征， 其中， 所述待回答问题数据是 根据所述文本图像数据确定的； 第二处理模块， 用于根据所述多个文本区域各自的浅层语义特征、 局部视觉特征和位 置特征， 得到所述多个文本区域各自的深层语义特征， 其中， 所述位置特征与所述文本图像 的至少一个文本区域的位置特 征相关联； 以及 第三处理模块， 用于对所述多个文本区域各自的深层语义特征进行处理， 生成针对所 述待回答问题的答案 。 10.根据权利要求9所述的装置， 其中， 所述第二处 理模块， 包括： 第一处理子模块， 用于针对所述多个文本区域中的每个文本区域， 对所述每个文本区 域的浅层语义特征、 局部视觉特征和位置特征进行融合， 得到所述多个文本区域各自的融 合特征； 以及 第二处理子模块， 用于对所述多个文本区域各自的融合特征进行语义特征提取， 得到 所述多个文本区域各自的深层语义特 征。 11.根据权利要求10所述的装置， 其中， 所述第二处 理子模块， 包括： 处理单元， 用于基于注意力策略， 对所述多个文本区域各自的融合特征进行语义特征 提取， 得到所述多个文本区域各自的深层语义特 征。 12.根据权利要求1 1所述的装置， 其中， 所述处 理单元， 包括： 处理子单元， 用于利用深层语义提取模型处理所述多个文本区域各自的融合特征， 得 到所述多个文本区域各自的深层语义特征， 其中， 所述深层语义特征模型包括多头自注意 机制层和前馈神经网络层。 13.根据权利要求9 ～12中任一项所述的装置， 其中， 所述第一处 理模块， 包括： 第三处理子模块， 用于对所述文本 图像的文本 图像数据进行视觉特征提取， 得到全局 视觉特征； 以及 第四处理子模块， 用于基于所述至少一个文本区域各自的位置信息， 根据所述全局视 觉特征， 得到所述至少一个文本区域各自的局部 视觉特征。 14.根据权利要求9 ～13中任一项所述的装置， 还 包括： 编码模块， 用于对所述至少一个文本区域各自的位置信息进行位置编码， 得到所述至 少一个文本区域各自的位置特 征。权　利　要　求　书 2/3 页 3 CN 114445826 A 3