(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210201390.3 (22)申请日 2022.03.03 (71)申请人 上海工程 技术大学 地址 201200 上海市松江区龙腾路3 33号 (72)发明人 张世洁　高永彬　方志军　余文俊　 (74)专利代理 机构 上海骁象知识产权代理有限 公司 31315 专利代理师 赵峰 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/189(2020.01) G06F 40/30(2020.01) G06N 5/02(2006.01) G06N 5/04(2006.01) G06Q 10/04(2012.01)G06N 20/20(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图注意力机制的跨语言知识图谱 链接预测方法 (57)摘要 一种基于图注意力机制的跨语言知识图谱 链接预测方法， 包括以下步骤： 设置图注意力机 制模块、 知识模块、 对齐模块、 集成推理模块和链 接预测模块； 将跨语言知识图谱中各种类型实体 和关系统一映射到向量空间中， 通过局部级邻居 节点注意力学到每个实体连接到邻居相关实体 的权重； 通过全局的注意力联合学习每个关系上 的权重， 根据权重融合不同邻居信息进行实体嵌 入表示； 计算损失同时进行端到端的优化。 精确 度高： 对多 图谱获取的数据信息进行融合， 根据 融合后的结果来进行对齐和预测， 相较于采用单 一图谱的预测， 其精确度更高。 有助于将世界范 围内多国多民族具有个性化知识的知识图谱联 系并融合 起来， 实现世界范围内的知识共享。 权利要求书1页 说明书5页 附图1页 CN 114564596 A 2022.05.31 CN 114564596 A 1.一种基于 图注意力机制的跨语言知识图谱链接预测方法， 其特征在于， 包括以下步 骤： 步骤一： 设置图注意力机制模块、 知识模块、 对齐模块、 集成推理模块和链接预测模块； 图注意力机制模块用于实现跨语言图谱的词嵌入， 学习各邻居信息的注意力权重， 对 各个节点进行加权平均， 训练每 个节点的词向量， 为后续任务 提供语义表示； 知识模块用于对跨语言图谱进行实体和关系嵌入， 在统一的嵌入空间使用平移向量或 者旋转向量对关系建模， 表示每 个特定语言知识图谱所描述事实的置信度； 对齐模块用于在多语言场景下， 找到不同语言中的匹配实体对的任务； 假设多个实体 表征同一个对 象， 则在这些实体之间构建对齐关系， 同时对实体包含的信息进行融合和聚 集； 集成推理模块用于对多个知识图谱进行事实预测， 对跨语言图谱查询和知识转移的集 成， 主要是为了利用源知识图谱的知识， 完成目标图谱预测的任务； 集成推理模块通过在同 一任务上组合多个模型来 提高学习准确率； 链接预测模块用于在候选实体集合中通过打分函数寻找最高的候选排名， 在尾实体预 测问题中， 在所有 待选的实体集 合中， 选出评分最高的作为尾实体预测的结果； 将跨语言知识图谱中各种类型实体和关系统一映射到向量空间中， 通过局部级邻居节 点注意力学到每 个实体连接 到邻居相关实体的权 重； 步骤二： 通过全局的注意力联合学习每个关系上的权重， 根据权重融合不同邻居信息 进行实体嵌入表示； 步骤三： 计算损失同时进行端到端的优化。 2.如权利要求1所述的基于图注意力机制的跨语言知识图谱链接预测方法， 其特征在 于,通过TransE算法将关系转化为欧几里得空间中头实体和尾实之间的平移， 其公式为： fTransE(h,r,t)＝ ‑||h+r‑t||2； 通过RotatE将关系建模为复杂空间中的旋转， 认为尾实体是 由头实体在复向量空间中通过关系进行旋转后派生出来的， 其公 式为： fRotatE(h,r,t)＝ ‑|| h°r‑t||2。 3.如权利要求1所述的基于图注意力机制的跨语言知识图谱链接预测方法， 其特征在 于， 在对齐过程中使用杰卡德相似度的方法判断多语言知识图谱中相同实体， 利用 种子监 督的学习方法自适应学习实体对齐， 通过训练不断增加种子实体， 连接和融合不同语言的 知识图谱， 形成新的知识。 4.如权利要求1所述的基于图注意力机制的跨语言知识图谱链接预测方法， 其特征在 于， 利用源知识图谱的信息候选实体集辅助目标图谱从候选实体中挑选最高得分的实体作 为预测最终结果。 5.如权利要求1所述的基于图注意力机制的跨语言知识图谱链接预测方法， 其特征在 于， 使用集成学习算法对跨语言图谱的目标图谱进行查询和转移， 包括对目标图谱的语义 信息使用对齐进行查询以及查询之后结果进行知识转移。权　利　要　求　书 1/1 页 2 CN 114564596 A 2一种基于图注意力机制的跨语言知识图谱 链接预测方 法 技术领域 [0001]本发明涉及信息技术领域， 尤其涉及图谱预测方法， 特别是一种基于图注意力机 制的跨语言知识图谱链接预测方法。 背景技术 [0002]构建web规模级的知识图谱(knowledge  graphs， kg)与日俱增， 知识图谱能够准确 反映真实世界的事实， 并能良好地表达概念、 层次等抽象知识。 近年来， 知识图谱被应用于 多个领域， 并围绕其开展了大量的研究。 知识图谱研究领域的愿景是构建一个结构化的知 识库， 服务于人工智能领域的方方面面。 并用知识图谱解决实际问题如dbpedia， wikidata， freebase， ya go和probase等广泛用于智能问答、 智能搜索， 以及 知识推理、 融合和补全等。 [0003]人们在知识图谱嵌入模型上投入了大量的精力， 编码实体作为低维向量， 并捕捉 关系作为对实体向量的代数运算。 这些模型为完成任务提供了有益工具， 代表性模型包括 平移模型， 双 线性模型。 这些模 型在预测实体都具有优秀表现能力。 绝大多数知识图谱基于 单一语言的数据源构建， 由单一语言描述， 并为单一语言的用户服务， 跨语言知识图谱的研 究尚处于起步阶段。 由于不同语言在特定知识图谱的数据质量和覆盖范围上有各自的优势 和限制， 使用不同语言的人会在他们自己的语言中拥有不同的知识图谱， 独立完成每个知 识图谱融合可能不是最优的， 由此跨语言图谱融合被越来越多人 所研究。 [0004]知识图谱通常是不完整的， 这是因为图谱的更新需要不断紧跟现实世界信息的步 伐。 因此， 知识图谱融合是一个动机很强的问题， 主要研究对知识图谱未知的真实事实的预 测。 但结合来自多个知识图谱的预测仍然 是一个不小的技术挑战。 一方面， 由于缺乏连接不 同知识图谱可靠对齐信息， 另一方面， 不同嵌入式之间的知识转移受到阻碍 。 发明内容 [0005]本发明的目的在于提供一种基于图注意力机制的跨语言知识图谱链接预测方法， 所述的这种基于图注意力机制的跨语言知识图谱链接预测方法要解决现有技术中单一图 谱的预测精度低的技 术问题。 [0006]本发明的一种基于图注意力机制的跨语言知识图谱链接预测方法， 包括以下步 骤： [0007]步骤一： 设置图注意力机制模块、 知识模块、 对齐模块、 集成推理模块和链接预测 模块； [0008]图注意力机制模块用于实现跨语言图谱的词嵌入， 学习各邻居信息的注意力权 重， 对各个节点进行加权平均， 训练每 个节点的词向量， 为后续任务 提供语义表示； [0009]知识模块用于对跨语言图谱进行实体和关系嵌入， 在统一的嵌入空间使用平移向 量或者旋转向量对关系建模， 表示每 个特定语言知识图谱所描述事实的置信度； [0010]对齐模块用于在多语言场景下， 找到不同语言中的匹配实体对的任务； 假设多个 实体表征同一个对 象， 则在这些实体之间构建对齐关系， 同时对实体包含的信息进行融合说　明　书 1/5 页 3 CN 114564596 A 3