(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210209684.0 (22)申请日 2022.03.04 (71)申请人 北京三快在线科技有限公司 地址 100080 北京市海淀区北四环西路9号 2106-030 (72)发明人 钱羽希　王小捷　江会星　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 谢冬寒 (51)Int.Cl. G06F 16/532(2019.01) G06F 16/583(2019.01) G06K 9/62(2022.01) G06V 10/80(2022.01) (54)发明名称 答案信息获取方法、 装置、 设备及存 储介质 (57)摘要 本申请公开了一种答案信息获取方法、 装 置、 设备及存储介质， 属于计算机技术领域。 方法 包括： 基于目标图像， 获取所述目标图像的描述 信息， 所述描述信息包括多条描述子信息； 基于 所述目标图像的问题信息， 确定所述描述信息中 每条描述子信息与所述问题信息的关联度； 基于 确定的关联度， 对所述描述信息中的至少一条描 述子信息进行弱化处理， 得到处理后的描述信 息； 基于所述问题信息和所述处理后的描述信 息， 确定所述问题信息的答案信息。 该方案能够 弱化目标图像中的噪声信息， 减少噪声信息的干 扰， 从而更加准确地确定出问题信息的答案信 息， 提高了 视觉问答的准确性。 权利要求书3页 说明书25页 附图6页 CN 114595348 A 2022.06.07 CN 114595348 A 1.一种答案信息获取 方法， 其特 征在于， 所述方法包括： 基于目标图像， 获取 所述目标图像的描述信息， 所述描述信息包括多条描述子信息； 基于所述目标图像的问题信 息， 确定所述描述信 息中每条描述子信 息与所述问题信 息 的关联度； 基于确定的关联度， 对所述描述信息中的至少一条描述子信息进行弱化处理， 得到处 理后的描述信息； 基于所述问题信息和所述处 理后的描述信息， 确定所述问题信息的答案信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述描述信息包括关系描述信息， 所述关 系描述信息包括多条关系描述子信息， 不同关系描述子信息用于描述所述目标图像中对象 之间的不同关系； 所述问题信息用于表示与所述目标图像中对象关联的问题； 所述基于所述目标图像的问题信 息， 确定所述描述信 息中每条描述子信 息与所述问题 信息的关联度， 包括： 基于所述问题信 息， 确定所述关系 描述信息中每条关系 描述子信 息与所述问题信 息的 关联度， 所述关联度表示所述关系描述子信息表示的关系与所述问题信息的关联程度。 3.根据权利要求2所述的方法， 其特征在于， 所述关系 描述子信 息指代所述目标图像的 一种关系图， 不同关系描述子信息指代所述 目标图像的不同种关系图； 所述关系图中的一 个节点指代所述目标图像中的一个对象， 所述节点的节点特 征指代所述对象的对象特 征； 所述关系图中两个节点之间的边指代对应两个对象之间的关系， 所述边的边特征指代 所述对应两个对象之间的关系的关系特征， 且 所述边的方向为所述两个物体之 间关系所指 示的方向； 或者， 所述关系图中两个节点之 间的边指代对应两个对象对应关系下的关联度， 且所述边的方向为所述对应的两个物体之间关联度所指示的方向； 所述基于所述问题信 息， 确定所述关系 描述信息中每条关系 描述子信 息与所述问题信 息的关联度， 包括： 确定所述目标图像的多种关系图中每种关系图的第一全局特 征； 确定所述问题信息的第二全局特 征； 将所述每种关系图的第 一全局特征与所述第 二全局特征的相似度， 确定为所述每种关 系图与所述问题信息的关联度。 4.根据权利要求3所述的方法， 其特征在于， 所述基于确定的关联度， 对所述描述信息 中的至少一条描述子信息进行弱化处 理， 得到处 理后的描述信息， 包括： 基于所述确定的关联度， 确定所述每种关系图的权值； 所述处理后的描述信 息包括所述目标图像的第 三全局特征， 基于所述每种关系图的权 值， 将所述多种关系图的第一全局特征进 行加权融合， 得到所述目标图像的第三全局特征； 或者， 所述处理后的描述信息包括所述 目标图像的目标关系图， 基于所述每种关系图的权 值， 将所述多种关系图进行加权融合， 得到所述目标图像的目标关系图。 5.根据权利要求1所述的方法， 其特征在于， 所述描述信息包括对象描述信息， 所述对 象描述信息包括多条对象描述子信息， 不同对象描述子信息用于描述所述目标图像中的不 同对象， 所述问题信息用于表示与所述目标图像中对象关联的问题； 所述基于所述目标图像的问题信 息， 确定所述描述信 息中每条描述子信 息与所述问题 信息的关联度， 包括：权　利　要　求　书 1/3 页 2 CN 114595348 A 2基于所述问题信 息， 确定所述对象描述信 息中每条对象描述子信 息与所述问题信 息的 关联度， 所述关联度用于表示所述对象描述子信息表示的对象与所述问题信息的关联程 度。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述问题信息， 确定所述对象描 述信息中每条对象描述子信息与所述问题信息的关联度， 包括： 将所述描述信 息中的每条对象描述子信 息与所述问题信 息进行融合， 得到多条融合后 的对象描述子信息； 基于所述多条融合后的对象描述子信 息， 确定每两条融合后的对象描述子信 息之间的 关联度； 对于每条融合后的对象描述子信 息， 基于所述多条融合后的对象描述子信 息中除所述 融合后的对象描述子信息之外的其他融合后的对 象描述子信息与所述融合后的对 象描述 子信息的关联度和值， 确定所述融合后的对象描述子信息与所述问题信息的关联度。 7.根据权利要求6所述的方法， 其特征在于， 所述对象描述子信息指代对象特征； 所述 将所述描述信息中的每条对象描述子信息与所述问题信息进 行融合， 得到多 条融合后的对 象描述子信息， 包括： 获取所述问题信息中每 个词语的文本特 征； 对于所述描述信息中的每个对象特征， 获取所述对象特征与每个文本特征的相似度， 基于获取 的相似度， 将所述每个文本特征与所述对 象特征进行融合， 得到融合后的对 象特 征。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述多条融合后的对象描述子信 息， 确定每两条融合后的对象描述子信息之间的关联度， 包括： 基于每个融合后的对象特征， 获取所述融合后的对象特征的查询特征、 键特征和值特 征， 获取所述融合后的对象特征的查询特征与多个融合后的对象特征中除所述融合后的对 象特征之外的其他融合后的对 象特征的键特征 的相似度， 基于获取 的相似度， 确定所述融 合后的对象特 征与所述 其他融合后的对象特 征的关联度。 9.根据权利要求6所述的方法， 其特征在于， 所述基于确定的关联度， 对所述描述信息 中的至少一条描述子信息进行弱化处 理， 得到处 理后的描述信息， 包括： 基于确定的关联度， 对所述描述信 息中的至少一条融合后的对象描述子信 息进行弱化 处理， 得到所述处 理后的描述信息 。 10.根据权利要求1所述的方法， 其特征在于， 所述基于确定的关联度， 对所述描述信 息 中的至少一条描述子信息进行弱化处 理， 得到处 理后的描述信息， 包括： 基于所述确定的关联度， 确定每条描述子信息的权值， 基于所述每条描述子信息的权 值， 对所述多条描述子信息进行弱化处 理， 得到所述处 理后的描述信息； 或者， 基于所述确定的关联度， 从所述描述信息中确定至少一条描述子信息， 对所述至少一 条描述子信息进行弱化处 理， 得到所述处 理后的描述信息 。 11.根据权利要求10所述的方法， 其特征在于， 所述对所述至少一条描述子信 息进行弱 化处理， 得到所述处 理后的描述信息， 包括： 基于所述确定的关联度， 确定所述至少一条描述子信息中每条描述子信息的权值， 基 于所述每条描述子信息的权值， 对所述描述信息中的所述至少一条描述子信息进 行弱化处权　利　要　求　书 2/3 页 3 CN 114595348 A 3