(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210065669.3 (22)申请日 2022.01.20 (71)申请人 电子科技大 学 （深圳） 高等研究院 地址 518000 广东省深圳市龙华区观澜街 道新澜社区观光路1301-78号银星智 界二期2号楼 (72)发明人 邵杰　朱安婕　杨晨旭　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 代维凡 (51)Int.Cl. G06N 5/04(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 16/36(2019.01) (54)发明名称 一种基于知识图谱的常识缺失信息多跳推 理方法 (57)摘要 本发明公开了一种基于知识图谱的常识缺 失信息多跳推理方法， 根据常识缺失信息构建输 入头实体及查询关系并进行预处理， 并构建长短 期记忆网络对路径历史信息进行编码， 得到隐藏 状态变量； 构建高层次策略网络， 并根据隐藏状 态变量、 预处理后的输入头实体及查询关系 作为 高层次策略网络， 得到高层次决策结果； 构建低 层次策略网络结合高层次决策结果进行预测， 得 到预测的目标实体， 进行评分， 并根据预设步数 最大值进行强化学习迭代， 根据评分得到最终预 测结果； 本发明采用分层强化的学习框架， 将预 测任务分解为一个用于关系检测的高层次决策 过程和一个用于实体推理的低 层次决策过程， 有 效地控制动作空间， 得到更加准确的预测目标 实 体。 权利要求书3页 说明书13页 附图5页 CN 114444697 A 2022.05.06 CN 114444697 A 1.一种基于知识图谱的常识缺失信息多跳推理方法， 其特 征在于， 包括以下步骤： S1、 根据常识缺失信息构建输入头实体及查询关系， 并进行预处理， 得到预处理后的输 入头实体及查询关系， 并初始化当前时间步数； S2、 构建长短期记 忆网络， 对路径历史信息进行编码， 得到隐藏状态变量； S3、 构建高层次策略网络， 并根据隐藏状态变量、 预处理后的输入头实体及查询关系作 为高层次策略网络， 得到高层次决策 结果； S4、 构建低层次策略网络， 并根据高层次决策结果及预处理后的输入头实体及查询关 系， 得到预测的目标实体； S5、 判断当前步数是否达到预设步数最大值， 若满足则 输出预测的目标实体， 得到目标 实体候选集， 并进入步骤S6， 否则返回步骤S2； S6、 对目标候选集中预测的各目标实体进行评分， 选择最高评分所对应的预测实体作 为最终预测结果。 2.根据权利要求1中基于知识图谱的常识缺失信 息多跳推理方法， 其特征在于， 步骤S1 具体为： 将常识缺失信息映射到向量空间， 并初始化输入头实体及查询关系的表示， 得到预处 理后的输入头实体及查询关系， 并初始化当前时间步数。 3.根据权利要求1中基于知识图谱的常识缺失信 息多跳推理方法， 其特征在于， 步骤S3 具体包括以下分步骤： S31、 根据预处 理后的输入头实体及查询关系构建 当前时刻下的高层次策略状态； S32、 根据当前时刻下的高层次策略状态构建高层次动作集 合； S33、 利用不少于一层的全连接层构建初始高层次策略网络， 并将隐藏状态变量、 高层 次动作集 合作为高层次策略网络 输入， 得到初始高层次决策 结果； S34、 在初始高层次决策网络后添加关系dropout网络， 得到高层次决策网络， 并结合初 始高层次决策 结果得到高层次决策 结果； S35、 利用REINFORCE算法构 建策略梯度 函数， 优化高层次策略网络， 其梯度更新可表示 为： 其中， θH*为更新后的梯度， 为高层次策略网络的期望函数， θH为高层次策 略函数参数， α 为学习率， β 为信息熵的权重， 为高层次策略函数的梯度， log为对数 函数， 为熵正则化项， 为高层次奖赏函数， rq为查询关系， et为当前时 刻t下访问的当前实体， 为高层次策略网络更新前的梯度。 4.根据权利要求3中基于知识图谱的常识缺失信息多跳推理方法， 其特征在于， 步骤 S32具体为： 根据当前时刻下的高层次策略状态构建初始高层次动作集合， 并添加当前时刻下的高 层次策略状态中数据集所对应的逆向三元组， 得到高层次动作集 合。权　利　要　求　书 1/3 页 2 CN 114444697 A 25.根据权利要求3中基于知识图谱的常识缺失信息多跳推理方法， 其特征在于， 步骤 S33中初始高层次策略网络模型表示 为： 其中， 为初始高层 次策略网络输出的模型函数， σ(.)为softmax激活函数， Ot为 堆叠的基于option空间的表征， ReLU(.)为激活函数， W2为可学习的参数， W1为可学习的参 数， ht为隐藏状态变量， 为当前时刻t下的高层次策略状态， rq为查询关系， et为当前时刻t 下访问的当前实体。 6.根据权利要求5中基于知识图谱的常识缺失信息多跳推理方法， 其特征在于， 步骤 S34中高层次决策网络的模型表达式为： mi～Bernoulli(1‑α )， i＝1， ...， |Ot| 其中， 为高层次决策网络输出的模型函数， ∝为正比关系符号， m为掩码向量， mi 为掩码向量中第i个参数向量， ∈为常数参量， ～为映射， Bernoulli(.)为伯努利 函数， α 为 学习率。 7.根据权利要求1中基于知识图谱的常识缺失信 息多跳推理方法， 其特征在于， 步骤S4 具体包括以下分步骤： S41、 根据高层次决策结果及预处理后的源实体及查询关系构建低层次策略状态， 低层 次策略状态 表示为： 其中， 为当前时刻t下的低层次状态， es为源实体， rq为查询关系， et为当前时刻t下访 问的当前实体， ot为高层次决策 结果； S42、 根据当前时刻下的低层次策略状态构建低层次动作集合， 然后对低层次动作空间 进行评分， 得到优化后的低层次动作空间； S43、 利用长短期记忆网络， 对隐藏状态变量进行编码更新， 得到更新后的隐藏状态变 量， 表示为： h0＝LSTM(0， [r0， es]) ht*＝LSTM(ht‑1， (ot‑1， at‑1))， t＞0 其中， ht*为当前时刻t下更新后的隐藏状态变量， ht‑1为前一时刻下的隐藏状态变量， ot‑1、 at‑1分别为上一时刻的高层次动作向量和低层次动作向量， r0为初始关系， es为源实体， LSTM(.)为长短期记 忆网络模型函数。 S44、 利用不少于一层的全连接层， 构建初始低层次策略网络， 并根据更新后的隐藏状 态变量、 低层次策略状态以及低层次动作集合， 得到预测的初始目标实体概率， 初始低层次 策略网络表达为： 其中， 为初始低层 次策略网络输出函数值， σ(.)为softmax激活函数， ReLU权　利　要　求　书 2/3 页 3 CN 114444697 A 3