(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210208389.3 (22)申请日 2022.03.04 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 张子恒　林镇溪　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李文静 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 知识图谱对齐方法、 装置、 设备、 存储介质及 程序产品 (57)摘要 本申请公开了一种知识图谱对齐方法、 装 置、 设备、 存储介质及程序产品， 涉及计算机技术 领域。 该方法包括： 获取第一知识图谱和第二知 识图谱， 第一知识图谱中的第一实体节点连接有 第一图像， 第二知识图谱中的第二实体节点连接 有第二图像； 提取第一图像的第一视觉特征； 提 取第二图像的第二视觉特征； 基于实体类别确定 第一视觉特征和第二视觉特征在特征表示确定 过程中的参与情况； 基于第一实体节 点的第一特 征表示以及第二实体节点的第二特征表示之间 的相似度， 得到对齐后的目标知识图谱。 通过 以 上方式， 能够有选择地引入视觉信息， 增强多模 态知识图谱的对齐效果。 本申请可应用于云技 术、 人工智能、 智慧 交通等各种场景。 权利要求书3页 说明书24页 附图6页 CN 114579762 A 2022.06.03 CN 114579762 A 1.一种知识图谱 对齐方法， 其特 征在于， 所述方法包括： 获取第一知识图谱和第 二知识图谱， 所述第 一知识图谱中包括连接有第 一图像的第 一 实体节点， 所述第二知识图谱中包括连接有第二图像的第二实体节点， 所述第一实体节点 和所述第二实体节点对应有实体 类别； 提取所述第一图像的第一视 觉特征； 提取所述第二图像的第二视 觉特征； 基于实体类别确定所述第一视觉特征的第一参与关系和所述第二视觉特征的第二参 与关系， 所述第一参与关系和所述第二参与关系用于指示视觉特征在特征表示确定过程中 的参与情况； 基于所述第 一参与关系确定所述第 一实体节点的第 一特征表示； 基于所述第 二参与关 系确定所述第二实体节点的第二特 征表示； 获取所述第 一特征表示和所述第 二特征表示之间的相似度， 确定所述第 一实体节点和 所述第二实体节点的对齐结果， 得到对齐后的目标知识图谱。 2.根据权利要求1所述的方法， 其特征在于， 所述第一实体节点对应有第一实体类别， 所述第二实体节点对应有第二实体 类别； 所述基于实体类别确定所述第一视觉特征的第一参与关系和所述第二视觉特征的第 二参与关系， 包括： 采用图像分类模型对所述第 一图像和所述第 二图像进行类别预测， 得到所述第 一图像 对应的第一预测类别以及所述第二图像对应的第二预测类别， 所述图像分类模型为预先训 练得到的分类模型； 基于所述第一预测类别和所述第一实体类别确定所述第一视觉特征的所述第一参与 关系； 基于所述第二预测类别和所述第二实体类别确定所述第二视觉特征的所述第二参与 关系。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述第 一预测类别和所述第 一实 体类别确定所述第一视 觉特征的所述第一 参与关系； 结合所述第 一预测类别和所述第 一实体类别， 确定所述第 一实体节点的第 一类别冲突 值； 基于所述第一类别冲突 值， 确定所述第一 参与关系； 所述基于所述第二预测类别和所述第二实体类别确定所述第二视觉特征的所述第二 参与关系， 包括： 结合所述第 二预测类别和所述第 二实体类别， 确定所述第 二实体节点的第 二类别冲突 值； 基于所述第二类别冲突 值， 确定所述第二 参与关系。 4.根据权利要求3所述的方法， 其特征在于， 所述实体类别对应有类别根节点， 所述类 别根节点用于指示至少两种实体 类别所属的上级类别； 所述结合所述第 一预测类别和所述第 一实体类别， 确定所述第 一实体节点的第 一类别 冲突值， 包括： 确定从所述第 一预测类别遍历至所述类别根节点的第 一路径类别集合， 所述第 一路径 类别集合用于指示从所述第一预测类别遍历至所述类别根节点的路径上的实体 类别集合；权　利　要　求　书 1/3 页 2 CN 114579762 A 2确定从所述第 一实体类别遍历至所述类别根节点的第 二路径类别集合， 所述第 二路径 类别集合用于指示从所述第一实体 类别遍历至所述类别根节点的路径上的实体 类别集合； 基于所述第 一路径类别集合和所述第 二路径类别集合中实体类别的重合比例， 确定所 述第一类别冲突 值。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述第 一路径类别集合和所述第 二路径类别集 合中实体 类别的重合比例， 确定所述第一类别冲突 值， 包括： 确定所述第一路径类别集 合和所述第二路径类别集 合的集合交集； 确定所述第一路径类别集 合和所述第二路径类别集 合的集合并集； 基于所述集合交集中的类别数量与 所述集合并集中的类别数量之商， 确定所述第 一类 别冲突值。 6.根据权利要求3所述的方法， 其特征在于， 所述基于所述第一类别冲突值， 确定所述 第一参与关系， 包括： 响应于所述第 一类别冲突值符合预设冲突条件， 确定所述第 一视觉特征不参与至所述 第一特征表示的确定过程中； 响应于所述第 一类别冲突值不符合所述预设冲突条件， 确定所述第 一视觉特征参与至 所述第一特 征表示的确定过程中。 7.根据权利要求6所述的方法， 其特征在于， 所述响应于所述第 一类别冲突值符合预设 冲突条件， 确定所述第一视 觉特征不参与至所述第一特 征表示的确定过程中， 包括： 将所述第一类别冲突值与 预设参数进行比较； 响应于所述第 一类别冲突值不大于所述 预设参数， 确定所述第一实体节点对应的第一实体掩码； 以所述第一实体掩码确定所述第 一视觉特征不参与至所述第一特 征表示的确定过程中； 所述响应于所述第 一类别冲突值不符合所述预设冲突条件， 确定所述第 一视觉特征参 与至所述第一特 征表示的确定过程中， 包括： 将所述第一类别冲突值与 所述预设参数进行比较； 响应于所述第 一类别冲突值小于所 述预设参数， 确定所述第一实体节点对应的第二实体掩码； 以所述第二实体掩码确定所述 第一视觉特征参与至所述第一特 征表示的确定过程中。 8.根据权利要求7所述的方法， 其特征在于， 所述将所述第 一类别冲突值与 预设参数进 行比较， 包括： 从至少一个所述第一类别冲突 值中， 确定目标类别冲突 值； 将所述目标类别冲突 值与所述预设参数进行比较。 9.根据权利要求1至8任一所述的方法， 其特征在于， 所述获取所述第一特征表示和所 述第二特征表示之间的相似度， 确定所述第一实体节点和所述第二实体节点的对齐结果， 包括： 基于所述第 一特征表示和所述第 二特征表示中被选定参与的视觉特征， 确定所述第 一 特征表示和所述第二特 征表示之间的所述相似度； 基于所述相似度， 确定所述第一实体节点和所述第二实体节点的对齐结果。 10.根据权利要求9所述的方法， 其特征在于， 所述相似度包括第一相似度和第二相似 度； 所述基于所述第 一特征表示和所述第 二特征表示中被选定参与的视觉特征， 确定所述权　利　要　求　书 2/3 页 3 CN 114579762 A 3