(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210183719.8 (22)申请日 2022.02.28 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 范长俊　刘世旋　刘忠　何华　 冯旸赫　程光权　陈超　黄金才　 刘祎姿　 (74)专利代理 机构 长沙大珂知识产权代理事务 所(普通合伙) 4323 6 专利代理师 伍志祥 (51)Int.Cl. G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向人物关系网络的未知实体关系推 断方法 (57)摘要 本发明公开了一种面向人物关系网络的未 知实体关系推断方法， 获取人物关系网络的模式 图和实例图并划分为训练集/测试集； 使用智能 体通过马尔科夫决策过程来挖掘元路径， 智能体 的奖励由实例图中元路径的覆盖率得到； 使用策 略网络进行迭代训练， 得到识别的元路径与其覆 盖率和置信度； 将过滤后的测试集构成正样本， 去除样本对中在训练集中出现的节 点； 选取测试 集中的事实三元组和两个未知待预测的实体， 推 断两个实体 之间的关系。 本发明将实体 关系的元 路径查找问题建模为模式网络上的MDP过程， 使 用具有复杂策略的强化学习智能体， 该策略由长 短期记忆网络参数化， 能够找到具有高覆盖率的 元路径， 推断出的未知实体间关系的准确度更 高。 权利要求书3页 说明书14页 附图4页 CN 114491080 A 2022.05.13 CN 114491080 A 1.一种面向人物关系网络的未知实体关系推断方法， 其特 征在于， 包括以下步骤： 获取人物关系网络的模式图和实例图； 基于广度优先搜索， 去除模式图和实例图中查询关系rq连接的所有实体对中去除rq后 存在若干 跳内的实例路径， 剩下的实体对划分为训练集/测试集； 检查训练集中与rq相关的所有实体对， 使用智能体通过马尔科夫决策过程来挖掘元路 径， 智能体的奖励由实例图中元路径的覆盖率得到； 使用策略网络进行迭代训练， 训练过程中使用类型节点嵌入表示来表示模式 图中的类 型节点， 加快 元路径的搜索； 训练结束后得到识别的元路径与其覆盖率和置信度； 将过滤后的测试集构成正样本， 从实例图中去 除样本对中在训练集中出现的节点； 选 取测试集中的事实三元组和两个待预测的实体， 其中待预测的实体在训练集中没有出现 过， 推断两个实体之间是否存在某种关系； 输出推断的两个实体间关系。 2.根据权利要求1所述的面向人物关系网络的未知实体关系推断方法， 其特征在于， 所 述模式图包括实体类型T、 关系R、 类型映射τ和关系映射φ； 针对查询关系rq， 智能体随机从 在模式图上由rq连接的实体类型对(tsrc， ttgt)中的头类型tsrc开始， 并使用所述马尔科夫决 策过程通过行走以最大化元路径对应的奖励。 3.根据权利要求2所述的面向人物关系网络的未知实体关系推断方法， 其特征在于， 所 述马尔科 夫决策过程用元组 描述如下： 在第i步， 状态Si由(ti,tsrc,rq,ttgt)表示， 其中ti代表当前实体类型， tsrc和ttgt为在模式 图上由rq连接的实体 类型对， 状态空间 包含了T×T×R×T中的所有 有效组合； 动作 给定状态Si＝(ti,tsrc,rq,ttgt)， 动作空间 是模式图TG中类型节点ti的所有 出边加上一个保持不动的操作， 即 从实体类型节 点tsrc开始， 所述智能体根据边r和尾实体类型节点t的嵌入表示， 迭代地选l ‑1次最偏好的 动作， 形成一条l长的元路径或者保持在ttgt， 一旦智能体在最大步数 前到达ttgt； 环境机制由状态转移概率 描述， 即智能体 当前状态根据选择的r连接的类型节点t调整， 为状态空间， 为动作； 奖励 对当前发现的元路径的质量进行评估， 并不断指导训练。 4.根据权利要求3所述的面向人物关系网络的未知实体关系推断方法， 其特征在于， 所 述奖励计算如下： 其中 为实例图中元路径M的覆盖率， Iarrival(M)∈{0， 1 }为到达指标， λ为 加权组合系数， 并归一 化所述奖励 在[0,1]区间； 所述实例图中元路径M的覆盖 率为由查询关系rq和M连接的实体对与 在异质信息网络 中由rq连接的所有实体对的比率， 具体如下式计算：权　利　要　求　书 1/3 页 2 CN 114491080 A 2其中， ConM(vi， vj)代表实体对(vi， vj)由元路径M相连； 所述到达指标如下式计算： 其中&表示逻辑与运算符， 其中I{tl＝ttgt}用于检查智能体的终点位置tl是否到达目标 类型节点ttgt, 用于防止智能体一 直停留在起始 节点tsrc。 5.根据权利要求1所述的面向人物关系网络的未知实体关系推断方法， 其特征在于， 所 述策略网络包括编码器和解码器， 所述编码器由一个双层长短期记忆网络参数化， 将时间 步i的状态Si编码为向量表 示Si， 并将Si与实体类型ti， 查询关系rq以及由rq连接的实体类型 对中的目标类型节点ttgt和rq的差值项拼接在一 起， 形成编码enci； 所述解码器由带有整 流线性单元的两层多层感知网络参数化， 将enci解码， 将解码输 出 乘以决策 特征矩阵Di， 并通过一个softmax层计算动作概 率分布 P＝softmax(Di(W2(ReLU(W1enci+b1))+b2) 其中， W1和W2分别为两层感知网络的权 重， b1和b2分别为两层感知网络的偏差； 基于动作概 率分布P,智能体采取 行动并移动到下一个 类型节点。 6.根据权利要求5所述的面向人物关系网络的未知实体关系推断方法， 其特征在于， 所 述决策特征矩阵Di的通过以下 方法得到： 通过候选关系rc和类型节点tc拼接来代表一条边， 堆叠所有边 的向量表示以获得决策 特征矩阵Di， 其中， 表示堆叠运算符， 候选关系rc和类型节点tc由当前类型节点的出边确定， 为动作空间。 7.根据权利要求4所述的面向人物关系网络的未知实体关系推断方法， 其特征在于， 所 述策略网络的强化学习目标 是： 其中， πθ(M)是遵循所述策略网络πθ生成的长度为l的元路径分布， θ为LSTM和MLP中的参 数， 为所述奖励。 8.根据权利要求7所述的面向人物关系网络的未知实体关系推断方法， 其特征在于， 所 述训练目标沿着如下 方向进行优化， 为估计上式中梯度， 随机从异质信息网络中 采样K个实体类型对(tsrc,ttgt)并为每个权　利　要　求　书 2/3 页 3 CN 114491080 A 3