(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211066005.5 (22)申请日 2022.09.01 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 贺峰　汪琦　冯知凡　崔骁鹏　 畲俏俏　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 杨静 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/295(2020.01) G06F 40/30(2020.01) G06F 40/205(2020.01) (54)发明名称 跨模态信息匹配、 处理方法、 装置、 电子设备 及存储介质 (57)摘要 本公开提供了一种跨模态信息匹配、 处理方 法、 装置、 电子设备及存储介质， 涉及人工智能技 术领域， 尤其涉及知识图谱、 自然语言处理等技 术领域， 可应用于AI GC、 智能创作等场景。 具体实 现方案为： 响应于检测到信息匹配指令， 确定第 一模态信息的第一模态表征和第二模态信息的 第二模态表征； 根据第一模态表征和第二模态表 征， 确定第一模态信息和第二模态信息之间的第 一相似度； 确定与第一模态信息的标识信息对应 的标识表征， 标识信息表征第一模态信息的语义 级别的信息； 根据标识表征和第二模态表征， 确 定标识信息与第二模态信息 之间的第二相似度； 根据第一相似度和第二相似度， 确定第一模态信 息和第二模态信息之间的匹配度。 权利要求书5页 说明书20页 附图6页 CN 115392389 A 2022.11.25 CN 115392389 A 1.一种跨模态信息匹配方法， 包括： 响应于检测到信 息匹配指令， 确定第 一模态信 息的第一模态表征和第 二模态信 息的第 二模态表征， 其中， 所述第一模态信息是文本信息， 所述第二模态信息与所述第一模态信息 的模态不同； 根据所述第 一模态表征和所述第 二模态表征， 确定所述第 一模态信 息和所述第 二模态 信息之间的第一相似度； 确定与所述第一模态信息的标识信息对应的标识表征， 其中， 所述标识信息表征所述 第一模态信息的语义级别的信息； 根据所述标识表征和所述第 二模态表征， 确定所述标识信 息与所述第二模态信 息之间 的第二相似度； 以及 根据所述第 一相似度和所述第 二相似度， 确定所述第 一模态信 息和所述第 二模态信 息 之间的匹配度。 2.根据权利要求1所述的方法， 其中， 所述确定与 所述第一模态信 息的标识信 息对应的 标识表征， 包括： 根据所述第一模态信息， 得到所述第一模态信息的实体信息； 确定与所述实体信息对应的标识信息， 得到与所述第一模态信息对应的标识信息； 以 及 根据与所述第一模态信 息对应的标识信 息， 得到与所述第 一模态信 息的标识信 息对应 的标识表征。 3.根据权利要求2所述的方法， 其中， 所述根据所述第一模态信息， 得到所述第一模态 信息的实体信息， 包括： 对所述第一模态信息进行实体链指， 得到所述第一模态信息的实体信息 。 4.根据权利要求2或3所述的方法， 其中， 所述根据与所述第一模态信息对应的标识信 息， 得到与所述第一模态信息的标识信息对应的标识 表征， 包括： 根据与所述第一模态信 息对应的标识信 息， 从第一映射关系集中确定与所述标识信 息 相匹配的第一匹配标识信息， 其中， 所述第一映射关系集包括至少一个第一映射关系， 所述 第一映射关系表征候选第一模态信息的候选标识信息和所述候选标识信息的标识表征之 间的关系； 以及 将与所述第一匹配标识信息对应的标识表征确定为与所述第一模态信息的标识信息 对应的标识 表征。 5.根据权利要求 4所述的方法， 还 包括： 根据媒体资源信 息集， 确定第 二映射关系集， 其中， 所述媒体资源信 息集包括至少一个 媒体资源信息， 所述媒体资源信息包括所述候选第一模态信息和 候选第二模态信息， 所述 第二映射关系集包括至少一个第二映射关系， 所述第二映射关系表征所述候选第一模态信 息的候选标识信息与至少一个所述 候选第二模态信息之间的关系； 以及 根据所述第二映射关系集， 确定所述第一映射关系集。 6.根据权利要求5所述的方法， 其中， 所述根据所述第二映射关系集， 确定所述第一映 射关系集， 包括： 针对所述第二映射关系集中的第二映射关系，权　利　要　求　书 1/5 页 2 CN 115392389 A 2确定所述第 二映射关系中的至少一个候选第 二模态信 息各自的候选第 二模态表征， 得 到至少一个候选第二模态 表征； 对所述至少一个候选第二模态表征进行聚合， 得到所述候选标识信息的标识表征； 以 及 根据所述候选第 一模态信 息的候选标识信 息和所述候选标识信 息的标识表征， 得到所 述第一映射关系。 7.根据权利要求6所述的方法， 其中， 所述对所述至少一个候选第二模态表征进行聚 合， 得到所述 候选标识信息的标识 表征， 包括： 对所述至少一个候选第二模态 表征进行聚类， 得到聚类结果； 以及 根据所述聚类结果， 确定所述 候选标识信息的标识 表征。 8.根据权利要求6所述的方法， 其中， 所述对所述至少一个候选第二模态表征进行聚 合， 得到所述 候选标识信息的标识 表征， 包括： 对所述至少一个候选第二模态 表征进行融合， 得到融合表征； 以及 将所述融合表征确定为所述 候选标识信息的标识 表征。 9.根据权利要求5～8中任一项所述的方法， 其中， 所述根据媒体资源信息集， 确定第二 映射关系集， 包括： 针对所述 媒体资源信息集中的媒体资源信息， 根据所述媒体资源信 息中的候选第 一模态信 息， 得到所述候选第 一模态信 息的至少一 个实体信息； 确定与所述候选第 一模态信 息的至少一个实体信 息各自对应的候选标识信 息， 得到至 少一个候选标识信息； 根据所述候选第 一模态信 息的至少一个候选标识信 息和所述候选第 二模态信 息， 得到 至少一个第三映射关系； 以及 确定具有相同候选标识信 息的第三映射关系， 得到与至少一个所述候选标识信 息各自 对应的第二映射关系。 10.根据权利要求1～9中任一项所述的方法， 其中， 所述根据所述第 一相似度和所述第 二相似度， 确定所述第一模态信息和所述第二模态信息之间的匹配度， 包括： 确定所述第一相似度和所述第二相似度之间的加权和； 以及 根据所述加权和， 确定所述第一模态信息和所述第二模态信息之间的匹配度。 11.根据权利要求 4～9中任一项所述的方法， 还 包括： 响应于接收到新增媒体资源信 息， 利用所述新增媒体资源信 息对所述第 一映射关系集 进行更新。 12.根据权利要求11所述的方法， 其中， 所述新增媒体资源信 息包括新增第 一模态信 息 和新增第二模态信息； 其中， 所述利用所述 新增媒体资源信息对所述第一映射关系集进行 更新， 包括： 根据所述 新增第一模态信息， 得到所述 新增第一模态信息的新增实体信息； 确定与所述新增实体信 息对应的标识信 息， 得到与所述新增第 一模态信 息对应的新增 标识信息； 在确定所述第一映射关系集中存在与所述新增标识信息相匹配的第二匹配标识信息权　利　要　求　书 2/5 页 3 CN 115392389 A 3