(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210228412.5 (22)申请日 2022.03.10 (65)同一申请的已公布的文献号 申请公布号 CN 114328978 A (43)申请公布日 2022.04.12 (73)专利权人 合肥综合 性国家科 学中心人工智 能研究院 （安徽省人工智能实验 室） 地址 230000 安徽省合肥市望江西路5 089 号， 中国科学技术大学先进研究院未 来中心B120 5-B1208 (72)发明人 毛震东　张勇东　付艺硕　高杰　 徐本峰　(74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 高川 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/35(2019.01) (56)对比文件 CN 111914843 B,2021.04.16 CN 111566654 A,2020.08.21 CN 110413999 A,2019.1 1.05 CN 113515938 A,2021.10.19 CN 112084790 A,2020.12.15 US 10938 817 B2,2021.0 3.02 CN 113761893 A,2021.12.07 审查员 徐捷 (54)发明名称 关系抽取方法、 装置、 设备及可读存 储介质 (57)摘要 本申请公开了一种关系抽取方法、 装置、 设 备及可读存储介质， 该方法包括步骤： 接收用户 输入的自然语 言数据； 输入所述自然语 言数据到 第一语言模型中， 得到实体关系数据， 其中， 所述 实体关系数据用于表征所述自然语言数据中的 实体关系， 所述第一语言模型是先以实体关系匹 配ERM和掩码语言模型MLM作为预训练任务对预 定的第二语言模 型进行训练得到第三语 言模型， 再利用预测关系公式对所述第三语言模型进行 训练后得到的。 本申请避免了使用NSP作为语言 模型的预训练任务， 导致语言模型无法从NSP中 获得对关系抽取任务的性能提升， 提高了语言模 型的数据处 理能力。 权利要求书2页 说明书15页 附图3页 CN 114328978 B 2022.05.24 CN 114328978 B 1.一种关系抽取 方法， 其特 征在于， 所述方法包括： 获取ERM预训练损失函数； 基于关系种类、 元关系数量和元关系的向量维度， 对第 二关系矩阵进行拆分， 得到第三 关系矩阵和第四关系矩阵， 其中， 所述关系种类、 所述元关系 数量、 所述元关系的向量维度 和所述第二关系矩阵是 预先设定的； 对所述第三关系矩阵和所述第四关系矩阵进行处 理， 得到关系向量 合集； 对所述关系向量 合集进行组合， 得到第一关系矩阵； 将所述第一关系矩阵、 所述第三关系矩阵、 所述第 四关系矩阵和关系信息输入到函数 中， 得到预测关系公式， 其中， 所述关系信息是 所述ERM预训练损失函数中包 含的； 接收用户输入的自然语言数据； 输入所述自然语言数据到第 一语言模型中， 得到实体关系数据， 其中， 所述实体关系数 据用于表征所述自然语言数据中的实体关系， 所述第一语言模型是先以实体关系匹配ERM 和掩码语言模型MLM作为预训练任务对预定的第二语言模型进行训练得到第三语言模型， 再利用预测关系公式对所述第三语言模型进行训练后得到的。 2.如权利要求1所述的方法， 其特征在于， 所述接收用户输入的自然语言数据之前， 包 括： 获取ERM预训练样本； 基于所述ERM预训练样本、 所述ERM预训练损失函数， 对所述第二语言模型进行训练， 得 到所述第三语言模型； 基于所述预测关系公式， 对所述第三语言模型进行训练， 得到所述第一语言模型。 3.如权利要求2所述的方法， 其特 征在于， 所述获取ERM预训练样本， 包括： 获取预训练数据； 分割所述预训练数据， 得到第一样本； 抽取出所述第一样本中包含的实体对， 根据所述实体对之间的关系确定关系标签， 其 中， 所述实体对 包括第一实体和第二实体； 在所述第一实体两侧分别插入第 一特殊标签和第 二特殊标签， 所述第 二实体两侧分别 插入第三特殊标签和第四特殊标签， 得到第二样本， 其中， 所述第一特殊标签、 所述第二特 殊标签、 所述第三特殊标签和所述第四特殊标签用于对所述实体对进行 标记； 按[CLS]所述第二样本[SEP]所述关系标签[SEP]进行组合， 得到所述ERM预训练样本， 其中， 所述[CLS]放在首位用于分类， 所述[ SEP]放在中间用于分隔。 4.如权利要求2所述的方法， 其特 征在于， 所述获取ERM预训练损失函数， 包括： 获取样本向量， 其中， 所述样本向量是对所述ERM预训练样本中的一部分进行编码后得 到的； 获取第一 隐藏层， 其中， 所述第一 隐藏层是第一特殊标签经过所述第二语言模型编码 后得到的， 所述第一特殊标签是 所述ERM预训练样本中包 含的； 获取第二 隐藏层， 其中， 所述第二 隐藏层是第三特殊标签经过所述第二语言模型编码 后得到的， 所述第三特殊标签是 所述ERM预训练样本中包 含的； 组合所述第一隐藏层和所述第二隐藏层， 得到所述ERM预训练样本中的实体对之间的 关系信息；权　利　要　求　书 1/2 页 2 CN 114328978 B 2将所述关系信息 输入线性层， 得到预测得分； 将所述预测得分输入回归函数， 得到预测概 率； 基于所述样本向量和所述预测概 率， 得到所述ERM预训练损失函数。 5.如权利要求1所述的方法， 其特征在于， 所述对所述第 三关系矩阵和所述第四关系矩 阵进行处 理， 得到关系向量 合集， 包括： 将所述第三关系矩阵的每一行乘以所述第四关系矩阵， 得到所述关系向量 合集。 6.如权利要求1所述的方法， 其特征在于， 所述对所述第 三关系矩阵和所述第四关系矩 阵进行处 理， 得到关系向量 合集， 还包括： 获取第五特殊标签， 其中， 所述第五特殊标签是所述第二语言模型中每一层所对应的 第一特殊标签的 “向量表示 ”的拼接， 所述第一特殊标签是ERM预训练样本中包 含的； 获取第六特殊标签， 其中， 所述第六特殊标签是所述第二语言模型中每一层所对应的 第三特殊标签的 “向量表示 ”的拼接， 所述第三特殊标签是 所述ERM预训练样本中包 含的； 组合所述第五特殊标签和所述第六 特殊标签后， 输入 全连接层， 得到查询向量 合集； 将所述查询向量合集乘以所述第 四关系矩阵的每一行后， 输入回归函数， 得到注意力 分数合集； 将所述注意力分数合 集乘以所述第四关系矩阵， 得到所述关系向量 合集。 7.一种关系抽取装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取ERM预训练损失函数； 拆分模块， 用于基于关系种类、 元关系数量和元关系的向量维度， 对第 二关系矩阵进行 拆分， 得到第三关系矩阵和第四关系矩阵， 其中， 所述关系种类、 所述元关系数量、 所述元关 系的向量维度和所述第二关系矩阵是 预先设定的； 第二处理模块， 用于对所述第三关系矩阵和所述第 四关系矩阵进行处理， 得到关系向 量合集； 第三组合模块， 用于对所述关系向量 合集进行组合， 得到第一关系矩阵； 第四输入模块， 用于将所述第 一关系矩阵、 所述第 三关系矩阵、 所述第四关系矩阵和关 系信息输入到函数中， 得到预测关系公式， 其中， 所述关系信息是所述ERM预训练损失函数 中包含的； 接收模块， 用于 接收用户输入的自然语言数据； 第一输入模块， 用于输入所述自然语言数据到第 一语言模型中， 得到实体关系数据， 其 中， 所述实体关系 数据用于表征所述自然语言数据中的实体关系， 所述第一语言模型是先 以实体关系匹配ERM和掩码语言模型MLM作为预训练任务对预定的第二语言模型进行训练 得到第三语言模型， 再利用预测关系公式对所述第三语言模型进行训练后得到的。 8.一种关系抽取设备， 其特征在于， 所述设备包括： 存储器、 处理器和存储在所述存储 器上并可在所述处理器上运行的关系抽取程序， 所述关系抽取程序被所述处理器执行时实 现如权利要求1至 6中任一项所述的关系抽取 方法的步骤。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有关系抽 取程序， 所述关系抽取程序被处理器执行时实现如权利要求 1至6中任一项所述的关系抽取 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114328978 B 3