(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210181938.2 (22)申请日 2022.02.25 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 何坚　苗宁　张仰　陈建辉　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 刘萍 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/28(2019.01) (54)发明名称 基于图注意力机制的医学知识图谱关系预 测方法 (57)摘要 基于图注意力机制的医学知识图谱关系预 测方法属于电子信息领域。 本发明涉及如下3点： (1)将不同权重(注意力)分配给附近的节点， 并 通过迭代和分层计算传播注意力。 (2)并在多跳 邻居之间引入辅助边， 实现了实体 之间知识流的 有效传播， 构建了基于图注意力的嵌入模型。 (3) 应用ConvKB作为解码器有效捕获实体及其邻域 间存在的关联关系。 本发明针对医疗知识图谱中 关系预测任务， 通过扩展 图注意力机制， 构建了 基于图注 意力的嵌入模型， 捕获给定实体的多跳 邻域间实体和关系特征， 进而完善医疗知识图谱 中实体间关联关系。 权利要求书5页 说明书7页 附图3页 CN 114610897 A 2022.06.10 CN 114610897 A 1.基于图注意力机制的医学知识图谱关系预测方法， 其特 征在于： (1)用于关系预测的基于图注意力的图嵌入方法 模型的每一层的输入包含实体嵌入矩阵和关系嵌入矩阵； 其中， 实体嵌入矩阵H如(1) 式： 其中， R表示实体的特 征矩阵， Ne是实体总数， T是每 个实体嵌入的特 征维度； 关系嵌入矩阵G如(2)式： 其中， 表示关系的特 征矩阵， Nr是关系数量， P为关系矩阵嵌入的特 征维度； 根据输入矩阵H和G， 按照如下步骤计算出 更新后的嵌入矩阵H ′和G′： 步骤一： 定义医学知识图谱中的实体集合E＝{e1,…,ei,…,en}， ei是第i个实体的嵌入； 首先， 学习与ei关联的每个三元组的表示， 以获取实体ei的新嵌入； 通过对特定的三元组 的实体和关系特 征向量如式(3)执 行线性变换来学习这些嵌入； 其中， 是三元组 的一个向量表示； 分别为实体ei、 ej和关系rk的嵌 入表示， W1为线性转化矩阵； 步骤二： 获取每一个三元组的重要程度， 即注意力系数bijk； 如公式(4)所示， 先进行一 个线性变换， 再应用一个非线性的激活函数 得到bijk， 公式(4)中， W2是一个线性 转换矩阵； bijk＝LeakyReLU(W2cijk)            (4) 此外， 采用式(5)进行注意力系数的归一 化， 得到相对注意力值αijk； 其中， Ni表示所有与ei相邻的实体集合， Rin表示连接实体ei、 en关系的集合， binr表示与ei 相邻的实体的注意力系数； 得到归一化后的注意力系数后， 依据公式(8)计算更新后的嵌入向量； 模型采用多头注 意力机制， 使模型在不同的表示子空间里学习到相关的信息， 并确保学习 过程稳定； 此外， 为降低输出维度， 采用计算平均值的方法得到最终的嵌入向量； 其中， M为注意力头的数量， σ 表示一个非线 性函数； j代表与实体ei相邻的实体， k代表实 体ei与实体ej之间的关系； 步骤三： 如公式(9)所示， 使用权 重矩阵WR对关系矩阵G做线性变换 得到新嵌入矩阵； G′＝GWR                       (7) 其中， WR∈RT×T′， T′是该层输出的关系嵌入向量的维度； 步骤四： 实体权重矩阵WE， 表示关系的特征矩阵， Ti、 Tj分别代表初始 和最终的实体嵌入向量的维数， 为输入模型的实体嵌入向量， 按照公式(8)对初始的实体嵌权　利　要　求　书 1/5 页 2 CN 114610897 A 2入向量Hi做线性变换， 得到转 化后的实体嵌入向量Ht； Ht＝WEHi                   (8) 步骤五： 依据式(9)将初 始的实体嵌入向量Ht与最后一个注意力层获得的实体嵌入向量 Hf相加得到更新实体嵌入向量H ”； H”＝Ht+Hf               (9) 其中， 为实体的特征矩阵， 为最后注意力层输出的实体嵌入矩阵， Ne 是实体总数， Tf是最终的实体嵌入向量的特 征维度； 另外， 定义k跳邻 接为知识图谱中的辅助关系， 辅助关系的嵌入为有向路径中所有关系 的嵌入之和， k>1； 这样对于一个多层的模型， 在第 s层就可以通过聚合相邻s跳的邻居计算 出更新的嵌入向量； 图注意力网络会把知识图谱中存在的三元组作为有效三元组 作为训练的正例； 并 用实体随机地 替换三元组中的头实体或尾实体， 构成无效三元组t ′ij， 作为训练的负例； 借鉴翻译评分函数思想来学习嵌入， 即对于给定的有效三元组 有 其中ei是实体， ej是ei最邻近的实体， rk是ei和ej之间的关系； 是实体ei的 嵌入向量， 是关系rk的嵌入向量， 是实体ej的嵌入向量； 在模型训练中， 实体关系嵌入学习采用了最小L1非相似度范数 并使用公式(10)所示的hi nge loss损失函数； 其中， γ>0， 是一个边际超参数； S是正确的三元组集合， S ′是无效三元组集合； S ′根据 公式(11)计算求得， 包括 替代头实体得到的三元组 和替代尾实体得到的三元组 (2)基于卷积神经网络的解码器Co nvKB 模型采用ConvKB作为解码器， 通过卷积层分析三元组 不同维度的全局嵌入特性， 进 而概括模型的转 化特性； 模型在解码过程中依据公式(12)计算多个特 征映射得分； 其中， ωq表示第q个滤波器， Ω为滤波器的数量， *是卷积运算符， W∈RΩk×1是一个用于 计算三元组最终得分的线性 转化矩阵； 采用公式(13)所示的软边界损失函数来计算损失： 权　利　要　求　书 2/5 页 3 CN 114610897 A 3