(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211067006.1 (22)申请日 2022.09.01 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区(西区) 西源大道 2006号 (72)发明人 惠孛　张栗粽　田玲　郑旭　董寅　 刘耀文　宋乐璇　 (74)专利代理 机构 山东诺诚智汇知识产权代理 事务所(普通 合伙) 37309 专利代理师 金峰 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/211(2020.01) G06F 16/35(2019.01) G06F 16/36(2019.01)G06N 3/04(2006.01) G06N 5/04(2006.01) (54)发明名称 一种基于图聚合和推理的文本关系抽取方 法 (57)摘要 本发明公开了一种基于图聚合和推理的文 本关系抽取方法， 提出了一个基于复杂语义信息 的文档级图， 这是一个异构的过程包含提及节点 和句子节 点的图形， 用于集 成文档的丰富语义信 息获取实体表 示。 本发明提出了一种实体级图获 取方法， 以发现长距离跨句子实体对的一些关 系。 然后， 我们使用注意机制融合实体全局表示、 实体推理表 示和实体初始表示信息， 以提取实体 对之间的关系。 权利要求书3页 说明书8页 附图2页 CN 115392257 A 2022.11.25 CN 115392257 A 1.一种基于图聚合和推理的文本关系抽取 方法， 其特 征在于， 包括以下步骤： S1、 通过编码器获取文档的实体初始 表示， 进而构建文档级图； S2、 根据文档级图中边的类型， 通过l层堆叠的关系图卷积神经网络对文档级图进行卷 积， 生成实体全局表示； S3、 根据文档级图中实体全局表示生成实体级图， 进而生成实体最终表示； 根据实体最 终表示获得目标关系表示和上 下文关系表示； S4、 根据目标关系表示和上下文关系表示， 通过前馈神经网络进行预测， 得到关系预测 结果， 完成文本关系抽取。 2.根据权利要求1所述的基于图聚合和推理 的文本关系抽取方法， 其特征在于， 所述步 骤S1包括以下分步骤： S11、 将BERT作为编码器获取文档的嵌入， 并通过logsumexp池化层获得文档的实体初 始表示； 其中， 得到所述文档的嵌入H的表达式具体为： H＝[h1,h2,…,hk2]＝BERT([w1,w2,…,wk1]) 式中， wk1为文档D的第k1个单词， hk2为第k2层 BERT输出获得的隐藏状态序列； 获得文档的实体初始 表示 的表达式具体为： 式中， 为包含提及 的隐藏状态序列， 为提及的总数； S12、 根据文档的实体初始 表示构建文档级图； 其中， 所述文档级图包括句子节点和提及节点； 所述句子节点 的表达式为 提及节点 的表达式为 3.根据权利要求2所述的基于图聚合和推理 的文本关系抽取方法， 其特征在于， 所述步 骤S2包括以下分步骤： S21、 基于文档级图中句子节点与提及节点， 定义文档级图中边的类型， 并生成文档级 图的边； S22、 通过l层堆叠的关系图卷积神经网络对文档级图进行卷积， 获取文档级图中边的 关系， 生成异构图； S23、 将异构图输入l ogsumexp池化层， 得到实体全局表示。 4.根据权利要求3所述的基于图聚合和推理 的文本关系抽取方法， 其特征在于， 所述步 骤S21中， 文档级图中边的类型包括 提及‑提及边缘、 提及句子边 缘和句子 ‑句子边缘； 所述步骤S21具体为： 当两个不同的实体初始表示在同一个句子中时， 则连接两个不同实体初始表示的提及 节点， 生成提及 ‑提及边缘； 当提及节点在句子中时， 则连接提及节点和当前句 子中的句 子 节点， 生成提及句子边 缘； 连接所有句子节点， 生成句子 ‑句子边缘。权　利　要　求　书 1/3 页 2 CN 115392257 A 25.根据权利要求3所述的基于图聚合和推理 的文本关系抽取方法， 其特征在于， 所述步 骤S22中， l层堆叠的关系图卷积神经网络对节点前向传递更新的表达式具体为： 式中， 为l层堆叠的关系图卷积神经网络输出的文档级图中节点， 和 均为l‑1 层堆叠的关系图卷积神 经网络输出的文档级图中节点， σ( ·)为激活函数， 为与边x连 接的节点i的邻居集合， 为边类型的集合， 为可训练的参数矩阵， dn为 节点表示的维度。 6.根据权利要求3所述的基于图聚合和推理 的文本关系抽取方法， 其特征在于， 所述步 骤S23中， 计算实体全局表示 的表达式具体为： 式中， 和 均为可训练的参数矩阵， 为logsumexp池化层输出的实体表 示相关函数， 为实体初始 表示相关函数， 为标准化特征向量。 7.根据权利要求6所述的基于图聚合和推理 的文本关系抽取方法， 其特征在于， 所述步 骤S3包括以下分步骤： S31、 根据文档级图中实体全局表示生成实体级图， 通过l层堆叠的关系图卷积神经网 络对实体级图进行卷积， 生成实体推理表示， 根据实体推理表示和实体全局表示得到实体 最终表示； S32、 根据实体最终表示和相对距离表示， 得到实体对的特定实体表示， 连接实体对的 特定实体表示得到目标关系表示， 根据目标关系表示获得 上下文关系表示。 8.根据权利要求7所述的基于图聚合和推理 的文本关系抽取方法， 其特征在于， 所述步 骤S31中， 得到实体最终表示 的表达式具体为： 式中， 和 均为可训练的参数矩阵， 为实体推理表示， 为实体 初始表示； 所述步骤S32中， 实体对的特定实体表示包括第一特定实体表示 和第二特定实体表示 其表达式具体为： 权　利　要　求　书 2/3 页 3 CN 115392257 A 3