(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211031111.X (22)申请日 2022.08.26 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 马战川　张立和　孔雨秋　陈思龙　 尹宝才　 (74)专利代理 机构 大连理工大 学专利中心 21200 专利代理师 戴风友 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/33(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于上下文信息融合的知识图谱补全 方法 (57)摘要 本发明属于自然语 言处理技术领域， 具体涉 及一种基于上下文信息融合的知识图谱补全方 法。 本发明首次利用3D卷积处理知 识图谱上下文 信息， 并引入头尾双关系来解决复杂关系的编码 问题。 首先使用实体关系编码模块对输入的实体 关系对进行编码得到实体关系特征； 再使用上下 文编码模块对输入的上下文信息进行编码得到 上下文特征； 然后将实体关系特征和上下文特征 输入到特征融合模块进行特征融合得到查询向 量； 最后计算查询向量与候选尾实体向量的相似 度得到不同候选实体的得分。 本发明利用3D卷积 对上下文结构信息进行特征提取， 将其融入实体 关系特征中， 在多个常用的数据集上进一步提高 知识图谱补全方法的准确率。 权利要求书3页 说明书5页 附图3页 CN 115408536 A 2022.11.29 CN 115408536 A 1.一种基于上 下文信息融合的知识图谱补全方法， 其特 征在于， 步骤 包括： 步骤S1： 数据预处理； 根据数据集中三元组数据， 构建算法的输入数据， 包括实体关系 对、 上下文信息对和候选实体列表； 步骤S2： 将实体关系对输入实体关系编码模块， 得到实体关系特 征； 步骤S21： 将实体关系对进行初始化嵌入， 得到实体关系矩阵； 步骤S22： 将实体关系矩阵分别输入多个不同的2D卷积网络进行特征提取， 得到多个不 同尺度的实体关系特 征， 然后将多个实体关系特 征拼接在一 起得到初始实体关系特 征； 步骤S23： 初始实体关系特 征经过全连接层映射改变嵌入维度得到实体关系特 征； 步骤S3： 将一组上 下文信息对输入上 下文编码模块， 得到多个上 下文特征； 步骤S31： 将实体关系对所对应的一组上下文信息对进行初始化嵌入， 得到多个上下文 嵌入； 步骤S32： 多个上 下文嵌入顺序拼接在一 起得到上 下文嵌入； 步骤S33： 将上下文嵌入输入3D卷积网络进行 特征提取， 得到一组上 下文特征； 步骤S4： 将实体关系特 征和一组上 下文特征输入到特 征融合模块， 得到查询向量； 步骤S41： 将实体关系特征和一组上下文特征输入Transformer网络， 得到初始查询向 量； 步骤S42： 将初始查询向量输入多层感知机， 得到查询向量； 步骤S5： 计算 查询向量与候选实体之间的相似度， 得到候选实体的概 率分布； 步骤S51： 将候选实体列表进行初始化嵌入， 得到候选实体嵌入； 步骤S52： 基于余弦相似度计算查询向量与候选实体嵌入的相似度得分； 然后经过 sigmoid函数计算得到候选实体的概 率分布； 步骤S6： 最小化整体损失函数训练整个算法， 使算法预测结果拟合正确结果； 所得的整 个算法模型即为知识图谱补全方法的工具。 2.根据权利要求1所述的一种基于上下文信 息融合的知识图谱补全方法， 其特征在于， 所述步骤S1具体为： 步骤S11： 数据集中出现的头实体h和尾实体t， 构成集 合E， 即为 候选实体列表； 步骤S12： 对于给定的三元组<h,r,t>， 取其中的头实体h和关系r构成实体关系对p:<h, r>； 步骤S13： 为每个实体关系对构 建上下文结构信息； 对于给定的实体关系对p:<h,r>， 在 数据集中找到所有与p具有相同实体h或相同关系r的实体关系对的集合c， 即为 实体关系对 p对应的上下文信息对列表， 而 所有c构成的集合C， 是所有实体 关系对所对应的上下文信息 对的集合。 3.根据权利要求1或2所述的一种基于上下文信 息融合的知识图谱补全方法， 其特征在 于， 所述步骤S2具体为： 步骤S21： 将实体关系对p分别进行初始化嵌入， 得到实体嵌入Eh∈R1×d和关系嵌入Er∈ R1×d， 其中d是知识图谱表征的嵌入 维度； 然后将Eh和Er进行拼接和重塑操作， 得到实体关系 矩阵 其中， d1和d2分别是实体关系矩阵的宽和高， 满足条件d1×d2＝2d； 步骤S22： 将实体关系矩阵Mp分别输入3个不同的2D卷积网络进行特征提取， 得到3个实权　利　要　求　书 1/3 页 2 CN 115408536 A 2体关系特征 然后将三个实体关系特征拼接在一起得到初始实体关系特征 fp∈R1×3d， 即定义 其中[； ]表示 拼接； 步骤S23： 将fp输入全连接层改变嵌入维度得到实体关系特 征Fp∈R1×d。 4.根据权利要求1或2所述的一种基于上下文信 息融合的知识图谱补全方法， 其特征在 于， 所述步骤S3具体为： 步骤S31： 将实体关系对p所对应的上下文信息对c按照步骤S21所描述的方式进行处 理， 得到n个上下文嵌入矩阵 其中n代表上下文信息对的个数， j∈[1,n]代表第 j个上下文信息对， d1和d2分别是上下文嵌入的宽和高， 满足条件d1×d2＝2d， d是知识图谱 表征的嵌入维度； 步骤S32： 将n个上下文嵌入Vc拼接在一起得到上下文嵌入 即定义 其中[； ]表示 拼接操作； 步骤S33： 将上下文嵌入Mc输入3D卷积网络进行特征提取， 得到n个上下文特征 5.根据权利要求3所述的一种基于上下文信 息融合的知识图谱补全方法， 其特征在于， 所述步骤S3具体为： 步骤S31： 将实体关系对p所对应的上下文信息对c按照步骤S21所描述的方式进行处 理， 得到n个上下文嵌入矩阵 其中n代表上下文信息对的个数， j∈[1,n]代表第 j个上下文信息对， d1和d2分别是上下文嵌入的宽和高， 满足条件d1×d2＝2d， d是知识图谱 表征的嵌入维度； 步骤S32： 将n个上下文嵌入Vc拼接在一起得到上下文嵌入 即定义 其中[； ]表示 拼接操作； 步骤S33： 将上下文嵌入Mc输入3D卷积网络进行特征提取， 得到n个上下文特征 6.根据权利要求1或2或5所述的一种基于上下文信息融合的知识图谱补全方法， 其特 征在于， 所述 步骤S4具体为： 步骤S41： 将实体关系特征Fp和n个上下文特征 输入Transformer网络， 得到 初始查询向量q∈R1×d， 其中Transformer网络由6层相同的Transformer层堆叠而成， 每 一层 都是只使用Transformer的编码模块； 步骤S42： 将初始查询向量q输入多层感知机， 得到查询向量Q∈R1×d， 其中多层感知 机是 由全连接层、 Relu层、 全连接层组成。 7.根据权利要求3所述的一种基于上下文信 息融合的知识图谱补全方法， 其特征在于， 所述步骤S4具体为： 步骤S41： 将实体关系特征Fp和n个上下文特征 输入Transformer网络， 得到 初始查询向量q∈R1×d， 其中Transformer网络由6层相同的Transformer层堆叠而成， 每 一层 都是只使用Transformer的编码模块； 步骤S42： 将初始查询向量q输入多层感知机， 得到查询向量Q∈R1×d， 其中多层感知 机是 由全连接层、 Relu层、 全连接层组成。权　利　要　求　书 2/3 页 3 CN 115408536 A 3