(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211038548.6 (22)申请日 2022.08.26 (71)申请人 华北电力大 学 地址 102206 北京市昌平区北农路2号 华北 电力大学 (72)发明人 石敏　王钰珏　王素琴　朱登明　 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/295(2020.01) G06F 40/30(2020.01) G06N 5/02(2006.01) (54)发明名称 一种基于BERT和知识嵌入的加工工艺关系 抽取方法 (57)摘要 本发明公开了属于自然语言处理领域一种 基于BERT和知识嵌入的加工工艺 关系抽取方法， 该方法包括如下步骤： 步骤1： 构建BERT层， 进行 文本特征提取， 得到字维度的特征向量Z和句子 向量S； 步骤2： 字维度的特征向量Z与实体信息联 合提取实体特征向量E； 步骤3： 融合知 识嵌入， 动 态调整句子向量S权重， 使模型更加关注句子中 与实体信息有关的语义信息C； 步骤4： 将所述融 合实体信息的特征向量C与实体特征E进行拼接， 得到多特征融合向量M； 步骤5： 多特征融合向量M 输入分类 器， 计算关系类别。 权利要求书2页 说明书5页 附图1页 CN 115455195 A 2022.12.09 CN 115455195 A 1.一种基于BERT和知识嵌入的加工 工艺关系抽取 方法， 该方法包括如下步骤： 步骤1： 对文本语料进行 数据清洗， 其次人工标注实体关系， 获取 标注数据； 步骤2： 对标注语料集进行 预处理， 并划分为训练集和 测试集； 步骤3： 搭建 关系抽取模型； 步骤4： 对关系抽取模型进行训练， 获得训练后的关系抽取模型； 步骤5： 利用测试集进行模型验证， 得到关系抽取 结果。 2.根据权利要求1所述的一种基于BERT和知识嵌入的加工工艺关系抽取方法， 所述步 骤1， 具体包括： 所述数据清洗包括修正识别错误的汉字， 删除文本中因图片、 表格所造成的格式错误 等； 标注数据分为两 部分， 第一部分为文本原文， 第二部分为关系标注数据。 3.根据权利要求1所述的一种基于BERT和知识嵌入的加工工艺关系抽取方法， 所述步 骤2具体包括： 对标注语料集进行预处理包括： 关系标注数据转换为{编号， 关系类别， 头实体位置， 尾 实体位置， 句子}形式； 同时按照8 :2的比例进行 数据集切分。 4.根据权利要求1所述的一种基于BERT和知识嵌入的加工工艺关系抽取方法， 其特征 在于， 所述 步骤3具体包括： 步骤3‑1： 利用BERT预训练模型， 将训练集语料转换为字向量特征和句子向量特征， 记 为Ht和H0； 步骤3‑2： 利用实体标签信息对字向量特 征Ht进行实体特 征提取， 提取 方式如下： 其中， Hi到Hj为头实体的BERT的隐藏状态特征， Hk到Hm为尾实体的的BERT的隐藏状态特 征； 步骤3‑3： 在融合知识嵌入的注意力层， 通过相似度计算注意力权重， 相似度函数定义 为： d(H1+H0,H2)＝|H1+H0‑H2| 其中， d表示作为相似度计算方式函数， H0表示文本句子特征， H1表示头实体特征， H2表 示尾实体特征， d越小表示两个实体存在该文本描述的关系可能性越高,从而生成的权重ω 越高， 最后对文本特 征进行加权， 从而生成注意力向量A tt， 公式表达为： Att＝H0·ω 步骤3‑4： 特征组合层， A tt与头、 尾实体特 征进行组合 拼接， 记为Et； 步骤3‑5： softmax分类 器将Et进行归一 化处理为R＝[p1,p2,...,pN]， 其中pi∈[0,1]。 5.根据权利要求1所述的一种基于BERT和知识嵌入的加工工艺关系抽取方法， 其特征 在于， 所述 步骤4具体包括： 进行关系抽取模型训练， 损失函数l oss为： 权　利　要　求　书 1/2 页 2 CN 115455195 A 2其中， yi表示第i类关系。 6.根据权利要求1所述的一种基于BERT和知识嵌入的加工工艺关系抽取方法， 其特征 在于， 所述 步骤5具体包括： 测试集数据输入关系抽 取模型， 得到关系抽 取结果； 采用精确率(precision)、 召回率 (recall)、 F1值作为评估指标。权　利　要　求　书 2/2 页 3 CN 115455195 A 3