(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211138842.4 (22)申请日 2022.09.19 (71)申请人 科大讯飞 （苏州） 科技有限公司 地址 215000 江苏省苏州市工业园区金鸡 湖大道88号E4单元 (72)发明人 刘浩宇　李直旭　陈志刚　郑新　 何莹　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 柳芳 (51)Int.Cl. G06F 40/194(2020.01) G06F 40/295(2020.01) G06F 16/36(2019.01) G06F 16/583(2019.01)G06V 30/19(2022.01) G06V 30/41(2022.01) (54)发明名称 跨模态匹配方法及相关装置、 电子设备、 存 储介质 (57)摘要 本申请公开了一种跨模态匹配方法及相关 装置、 电子设备、 存储介质， 其中， 跨模态匹配方 法包括： 获取待匹配文本和待匹配图像； 获取任 一对待匹配文本和待匹配图像 之间的匹配分值； 基于任一对待匹配文本和待匹配图像之间的匹 配分值， 确定相互匹配的待匹配文本和待匹配图 像， 作为匹配图文对； 其中， 匹配分值基于跨模态 匹配模型对待匹配文本和待匹配图像匹配分析 得到， 跨模态匹配模型基于样本数据训练得到， 样本数据包括样本图像、 与 样本图像匹配的样本 正例文本和与样本图像不匹配的样 本负例文本， 且样本负例文本基于知识 图谱对样本正例文本 进行改造得到。 上述方案， 能够提升跨模态匹配 的匹配精度。 权利要求书2页 说明书12页 附图3页 CN 115270754 A 2022.11.01 CN 115270754 A 1.一种跨模态匹配方法， 其特 征在于， 包括： 获取待匹配文本和待匹配图像； 获取任一对所述待匹配文本和所述待匹配图像之间的匹配分值； 基于任一对所述待匹配文本和所述待 匹配图像之间的匹配分值， 确定相互匹配的待 匹 配文本和待匹配图像， 作为匹配图文对； 其中， 所述匹配分值基于跨模态匹配模型对所述待 匹配文本和所述待 匹配图像匹配分 析得到， 所述跨模态匹配模型基于样本数据训练得到， 所述样本数据包括样 本图像、 与所述 样本图像匹配的样本正例文本和与所述样本图像不匹配的样本负例文本， 且所述样本负例 文本基于知识图谱 对所述样本正例文本进行改造得到 。 2.根据权利要求1所述的方法， 其特征在于， 所述样本图像对应有至少一个所述样本负 例文本， 所述样本正例文本包含至少一个第一实体， 各所述样本负例文本分别由各所述第 一实体替换为第二实体得到， 且所述第二实体基于所述第一实体从所述知识图谱搜索得 到， 所述第一实体与所述第二实体 类别相同且 含义不同。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述样本负例文本的构造步骤 包括： 识别所述样本正例文本中实体， 作为第一实体； 对于各个所述第 一实体， 响应于基于所述第 一实体从所述知识图谱链接到若干候选实 体， 选择所述候选实体作为第二实体， 并将所述样本正例文本中所述第一实体替换为所述 第二实体， 得到所述样本负例文本 。 4.根据权利要求3所述的方法， 其特征在于， 所述选择所述候选实体作为第二实体， 包 括： 选择与所述第一实体 类别相同的候选实体， 作为第三实体； 获取所述第 一实体分别与 各个所述第 三实体之间的特征相似度， 并按照所述特征相似 度由高到低的顺序对各个所述第三实体进行排序； 选择位于前 预设序位的第三实体， 作为所述第二实体。 5.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 响应于基于所述第 一实体未从所述知识图谱链接到所述候选实体， 确定无法基于所述 第一实体构造所述样本负例文本 。 6.根据权利要求1所述的方法， 其特征在于， 所述获取任一对所述待匹配文本和所述待 匹配图像之间的匹配分值， 包括： 基于所述待匹配图像中各目标区域的区域位置， 提取得到各所述目标区域的图像特 征， 并提取 所述待匹配文本中各短语的短语特 征； 对于每对所述待 匹配文本和所述待 匹配图像， 基于所述待 匹配文本 中各所述短语的短 语特征和所述待匹配图像中各所述目标区域的图像特征进 行匹配， 得到本对所述待匹配文 本和所述待匹配图像之间的匹配分值。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述待匹配图像中各目标区域的 区域位置， 提取 得到各所述目标区域的图像特 征， 包括： 基于所述待匹配图像中所述目标区域的图像数据进行特征提取， 得到第一特征， 并基 于所述待匹配图像中所述目标区域的区域 位置进行 特征映射， 得到第二特 征； 基于所述目标区域对应的第 一特征和第 二特征进行融合， 得到所述目标区域的图像特权　利　要　求　书 1/2 页 2 CN 115270754 A 2征。 8.根据权利要求6所述的方法， 其特征在于， 所述基于所述待匹配文本中各所述短语的 短语特征和所述待匹配图像中各所述目标区域的图像特征进 行匹配， 得到本对所述待匹配 文本和所述待匹配图像之间的匹配分值， 包括： 对于各个所述短语， 获取所述短语的短语特征分别与 各个所述目标区域的图像特征之 间的特征相似度， 并将最高所述特 征相似度， 作为所述短语对应的目标相似度； 基于各个所述短语的目标相似度进行融合， 得到所述匹配分值。 9.根据权利要求1所述的方法， 其特 征在于， 所述 跨模态匹配模型的训练步骤 包括： 获取所述样本图像与 所述样本正例文本之间的正例匹配分值， 并获取所述样本图像分 别与各所述样本负例文本之间的负例匹配分值； 基于所述正例匹配分值和所述负例匹配分值， 得到模型损失； 其中， 所述模型损失与所 述正例匹配分值负相关， 且所述模型损失与所述负例匹配分值 正相关； 基于所述模型损失， 调整所述 跨模态匹配模型的网络参数。 10.一种跨模态匹配装置， 其特 征在于， 包括： 获取模块， 用于获取待匹配文本和待匹配图像； 度量模块， 用于获取任一对所述待匹配文本和所述待匹配图像之间的匹配分值； 匹配模块， 用于基于任一对所述待匹配文本和所述待匹配图像之间的匹配分值， 确定 相互匹配的待匹配文本和待匹配图像， 作为匹配图文对； 其中， 所述匹配分值基于跨模态匹配模型对所述待 匹配文本和所述待 匹配图像匹配分 析得到， 所述跨模态匹配模型基于样本数据训练得到， 所述样本数据包括样 本图像、 与所述 样本图像匹配的样本正例文本和与所述样本图像不匹配的样本负例文本， 且所述样本负例 文本基于知识图谱 对所述样本正例文本进行改造得到 。 11.一种电子设备， 其特征在于， 包括相互耦接的存储器和 处理器， 所述存储器中存储 有程序指 令， 所述处理器用于执行所述程序指 令以实现权利要求 1至9任一项 所述的跨模态 匹配方法。 12.一种计算机可读存储介质， 其特征在于， 存储有能够被处理器运行的程序指令， 所 述程序指令用于实现权利要求1至9任一项所述的跨模态匹配方法。权　利　要　求　书 2/2 页 3 CN 115270754 A 3