(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210331339.4 (22)申请日 2022.03.31 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 王鑫　柳鹏凯　董思聪　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李丽萍 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/31(2019.01) (54)发明名称 基于关键嵌入的知识图谱表示学习框架优 化方法 (57)摘要 本发明公开了一种基于关键嵌入的知识图 谱表示学习框架优化方法， 包括： 关键嵌入缓存 表初始化， 初始化后该关键嵌入缓存表为空， 关 键嵌入缓存表包含第一列和第第二列， 第一列标 识子图中实体或关系的ID， 第二列为实体或关系 的嵌入； 采用预加载和过滤在训练迭代过程中动 态地构建关键嵌入缓存表； 采用恒定部分延迟或 是动态部分延 迟的方式， 利用关键嵌入缓存表更 新工作节 点存储子图中实体和关系的嵌入； 将更 新后的嵌入推回给参数服务器。 本发 明设计表示 学习框架优化方法， 在知识图谱表 示学习训练过 程中， 动态 地存储与更新高频命中的实体和关系 作为关键嵌入。 以增加少量计算时间为代价， 减 少获取关键嵌入的通信成本， 从而提升整体的训 练效率。 权利要求书2页 说明书8页 附图7页 CN 114595342 A 2022.06.07 CN 114595342 A 1.一种基于关键嵌入的知识图谱表示学习框架优化方法， 其特 征在于， 包括： 步骤一、 关键嵌入缓存表初始化， 初始化后该关键嵌入缓存表为空， 所述关键嵌入缓存 表包含第一列和第二列， 所述第一列标识子图中实体或关系的ID， 所述第二列为实体或关 系的嵌入； 步骤二、 采用预加载和过 滤在训练迭代过程中动态地构建所述的关键嵌入缓存表； 步骤三、 采用 恒定部分延迟或是动态部分延迟的方式， 利用所述关键嵌入缓存表更新 工作节点存 储子图中实体和关系的嵌入； 步骤四、 将更新后的嵌入推回给参数服 务器。 2.根据权利要求1所述的知识图谱表示学习框架优化方法， 其特征在于， 步骤一中， 知 识图谱表示学习的训练过程开始 时， 通过图划分算法对知识图谱进行划分， 每个工作节点 存储一个包括知识图谱部分实体和关系的子图； 根据划分结果， 各工作节点上 的参数服务 器对嵌入进行初始化。 3.根据权利要求1所述的知识图谱表示学习框架优化方法， 其特 征在于， 步骤二中， 所述的预加载过程为： 工作节点从自身子 图中采样得到正三元组样本集合， 并生成负 三元组样本集合； 工作 节点对正三元组样本集合和负三元组样本集合中包含的实体和关系 进行去重后存 储实体和关系列表作为预加载 结果； 所述的过滤的过程为， 工作节点计算预加载列表中实体和关系在子 图中出现的频率， 按照每个实体和关系频率的降序排列， 选取预加载列表中的高频实体和关系， 从参数服务 器中拉取与高频实体和关系对应的嵌入作为关键实体和关系嵌入， 从而构建该关键嵌入缓 存表。 4.根据权利要求3所述的知识图谱表示学习框架优化方法， 其特征在于， 所述预加载列 表中的高频实体和关系是指该表中前1％的实体和关系。 5.根据权利要求1所述的知识图谱表示学习框架优化方法， 其特征在于， 步骤三中， 采 用恒定部分延迟方式， 利用所述关键嵌入缓存表更新工作节点存储子图中实体和关系的嵌 入的过程是： 工作节点迭代若干轮次对实体和关系的嵌入进行训练， 利用构建的关键嵌入缓存表进 行训练优化； 如果用于训练的实体和关系出现在关键嵌入缓存表中， 直接获取其相应嵌入； 如果用于训练的实体和关系不在关系嵌入缓存表中， 则从参数服务器中拉去实体和关系的 对应嵌入； 使用获取的嵌入， 计算损失函数、 更新工作节点存储的子图的实体和关系的嵌 入。 6.根据权利要求1所述的知识图谱表示学习框架优化方法， 其特征在于， 步骤三中， 采 用动态部分延迟方式， 利用所述键嵌入缓存表更新工作 节点存储子图中实体和关系的嵌入 的过程是： 工作节点迭代若干轮次对实体和关系的嵌入进行训练， 利用构建的关键嵌入缓存表进 行训练优化， 并动态地调整关键嵌入缓存表的内容； 如果用于训练的实体和关系 出现在关 键嵌入缓存表中， 直接获取其相应嵌入， 如果用于训练的实体和关系不在关系嵌入缓存表 中， 则从参数服务器中拉去实体和关系的对应嵌入； 同时， 当训练轮次超过一个给定的阈值 时， 对关键嵌入缓存表中实体和关系的嵌入进行动态调整： 从参数服务器拉取当前时刻关 键嵌入缓存表中实体和关系对应的嵌入， 并将新 获取的嵌入覆盖关键嵌入缓存表中原有的权　利　要　求　书 1/2 页 2 CN 114595342 A 2嵌入； 使用获取的嵌入， 计算损失函数、 更新工作节点存 储的子图的实体和关系的嵌入。权　利　要　求　书 2/2 页 3 CN 114595342 A 3