(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210383166.0 (22)申请日 2022.04.13 (71)申请人 迈容智能科技 （上海） 有限公司 地址 200433 上海市杨 浦区邯郸路10号8号 楼309室 (72)发明人 吴昆　丁国栋　 (74)专利代理 机构 上海诺衣知识产权代理事务 所(普通合伙) 31298 专利代理师 张若川 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) G06F 40/295(2020.01) (54)发明名称 基于实体感知的关系抽取方法、 装置、 设备 及存储介质 (57)摘要 本发明公开了基于实体感知的关系抽取方 法、 装置、 设备及存储介质， 步骤： 为实体构建标 记序列， 并将标记序列与文本拼接得到输入序 列； 构建输入序列的掩码矩阵； 使用预训练语言 模型编码 输入序列得到文本向量序列； 取出已知 实体的首尾向量拼接并映射得到实体向量表示； 将各个实体向量两两拼接预测实体对关系。 本发 明的基于实体感知的关系抽取方法， 在不改变预 训练模型结构的基础上， 通过重新定义预训练模 型预留字符， 结合掩码机制和位置编码， 在文本 编码层融合了多实体信息， 实现了融合实体信息 的一次编码模型， 相比于现有技术， 其步序较为 简单， 抽取效率较高， 对设备计算能力要求较低， 可适用于各种预训练语言模型， 其适用性较好， 极具应用前 景。 权利要求书2页 说明书5页 附图3页 CN 114969353 A 2022.08.30 CN 114969353 A 1.一种基于实体感知的关系抽取 方法， 其特 征在于， 包括以下步骤： 1)为实体构建标记序列， 并将标记序列 与文本拼接得到 输入序列； 2)构建输入序列的掩码矩阵； 3)使用预训练语言模型编码输入序列得到文本向量序列HL； 4)取出已知实体的首尾向量 拼接并映射得到实体向量表示； 5)将各个实体向量两 两拼接预测实体对关系。 2.根据权利要求1所述的一种基于实体感知的关系抽取方法， 其特征在于， 所述步骤1) 具体为： 在原文后添加标记字符， 所述标记字符的样式为类型 ‑位置， 所述类型与实体类型一 致， 所述位置为S或E表示该字符标记出了某类型实体的起始位置或结束位置， 将所有标记 字符附加到原文序列之后， 形成原文 ‑标记序列， 再将标记字符的位置编 码与实体在原文中 的位置设置一 致。 3.根据权利要求1所述的一种基于实体感知的关系抽取方法， 其特征在于， 步骤2)中， 所述掩码矩阵的构建原则为： 原文中的除实体外的字仅可见原文中的字， 原文中实体所包含的字可见原文中的字以 及其对应的实体标记， 实体标记字符可 见原文中的字和自己这对的两个标记字符。 4.根据权利要求1所述的一种基于实体感知的关系抽取方法， 其特征在于， 所述步骤3) 具体为： 将原文与标记的序列、 结合位置编码和掩码矩阵一同输入基于Transformer的预训练 语言模型， 得到文本向量序列HL。 5.根据权利要求1所述的一种基于实体感知的关系抽取方法， 其特征在于， 所述步骤4) 具体为： 取出各个实体的开始和结束位置对应的向量， 将各实体的两个向量各自拼接并通过全 连接网络映射， 以此作为各自实体的向量表示。 6.根据权利要求1所述的一种基于实体感知的关系抽取方法， 其特征在于， 所述步骤5) 具体为： 将各个实体向量区分前后的两两拼接并映射， 以此作为各个实体对的向量表示， 再通 过分类层判断实体对类型， 对于不存在关系的实体对， 预测为 NONE。 7.一种关系抽取装置， 其特 征在于， 所述装置包括： 输入序列获取模块， 用于为实体构建标记序列， 并将标记序列与文本拼接得到输入序 列； 掩码矩阵构建模块， 用于构建输入序列的掩码矩阵； 预训练语言模型处理模块， 用于使用预训练语言模型编码输入序列 得到文本向量序列 HL； 实体向量获取模块， 用于取 出已知实体的首尾向量 拼接并映射得到实体向量表示； 实体对关系预测模块， 用于将各个实体向量两 两拼接预测实体对关系。 8.一种计算机设备， 其特 征在于， 所述计算机设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中，权　利　要　求　书 1/2 页 2 CN 114969353 A 2所述存储器存储有计算机可读指令， 所述处理器执行所述计算机可读指令时实现如权 利要求1～6任一项所述的基于实体感知的关系抽取 方法。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储计算机可 读指令， 所述计算机可读指 令被处理器执行时实现如权利要求1～6任一项所述的基于实体 感知的关系抽取 方法。权　利　要　求　书 2/2 页 3 CN 114969353 A 3