(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210173219.6 (22)申请日 2022.02.24 (71)申请人 北京快确信息科技有限公司 地址 100000 北京市西城区阜成门外大街 31号4层411D (72)发明人 林远平　甘伟超　喻广博　邹鸿岳　 周靖宇　 (74)专利代理 机构 广东良马律师事务所 4 4395 专利代理师 李良 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/126(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于文本特征的信息抽取方法、 装置及电子 设备 (57)摘要 本发明公开了一种基于文本特征的信息抽 取方法、 装置及电子设备， 方法包括： 基于 预训练 模型对待处理的信息文本进行预训练编码， 生成 文本特征； 将文本特征分别输入 预先构建的通用 域特征抽取器和私有域特征抽取器； 分别得到通 用域特征和私有域特征， 所述通用域特征为通用 域特征抽取器的输出， 所述私有域特征为私有域 特征抽取器的输出； 将通用域特征和私有域特征 进行耦合， 将耦合结果输入混合专家预测器中进 行解码， 生成对应的信息标签， 完成信息抽取操 作。 本发明实施例通过通用域和私有域的丰富语 义信息， 结合CRF进行解码， 确保实体抽取任务的 准确率， 提升 了金融信息的抽取效率。 权利要求书2页 说明书8页 附图5页 CN 114691879 A 2022.07.01 CN 114691879 A 1.一种基于文本特 征的信息抽取 方法,其特 征在于,所述方法包括： 基于预训练模型对待处 理的信息文本进行 预训练编码， 生成文本特 征； 将文本特征分别输入预先构建的通用域特征抽取器和私有域特征抽取器； 分别得到通 用域特征和私有域特征， 所述通用域特征为通用域特征抽取器的输出， 所述私有域特征为 私有域特 征抽取器的输出； 将通用域特征和私有域特征进行耦合， 将耦合结果输入混合专家预测器中进行解码， 生成对应的信息标签， 完成信息抽取操作。 2.根据权利要求1所述的方法， 其特征在于， 所述基于预训练模型对待处理的信 息文本 进行预训练编码， 生成文本特 征， 包括： 基于BERT模型对待处理的信息文本进行预训练编码， 生成文本特征， 所述文本特征为 固定维度的字符向量或词向量。 3.根据权利要求2所述的方法， 其特征在于， 所述基于BERT模型对待处理的信息文本进 行预训练编码， 生成文本特 征， 所述文本特 征为固定维度的字符向量或词向量， 包括： 获取信息文本中语言的种数， 提取信息文本中每一种语言， 生成单一语言对应的文本 数据， 所述文本数据数目与语言的种数相同； 信息文本包括至少两种语言； 将每一种文本数据分别输入BERT模型， 生成对应的文本特征， 所述文本特征为固定维 度的字符向量或词向量。 4.根据权利要求3所述的方法， 其特征在于， 所述将文本特征分别输入预先构建的通用 域特征抽取器和私有域特 征抽取器前， 还 包括： 预先构建通用域特征抽取器， 所述通用域特征抽取器包括采用LSTM模型的学习器和采 用MLP模型的语言判别器。 5.根据权利要求4所述的方法， 其特征在于， 所述将文本特征分别输入预先构建的通用 域特征抽取器和私有域特 征抽取器前， 还 包括： 预先构建私有域特 征抽取器， 所述预 先构建通用域特 征抽取器包括MLP模型。 6.根据权利要求5所述的方法， 其特征在于， 所述将通用域特征和私有域特征进行耦 合， 包括： 将通用域特 征和私有域特 征按照第一预定 权重进行拼接， 生成耦合结果。 7.根据权利要求6所述的方法， 其特征在于， 所述将耦合结果输入混合专家预测器 中进 行解码， 生成对应的信息标签， 完成信息抽取操作， 包括： 将耦合结果输入混合专家预测器的MP模型后， 按照第二预定权重进行拼接， 生成拼接 好的特征向量； 将特征向量输入CRF解码器进行解码， 生成对应的信息标签， 完成信息抽取操作。 8.一种基于文本特 征的信息抽取装置， 其特 征在于， 所述装置包括： 预训练编码模块， 用于基于预训练模型对待处理的信息文本进行预训练编码， 生成文 本特征； 通用域特征和私有域特征抽取模块， 用于将文本特征分别输入预先构建的通用域特征 抽取器和私有域特征抽取器； 分别得到通用域特征和私有域特征， 所述通用域特征为通用 域特征抽取器的输出， 所述私有域特 征为私有域特 征抽取器的输出； 解码模块， 用于将通用域特征和私有域特征进行耦合， 将耦合结果输入混合专家预测权　利　要　求　书 1/2 页 2 CN 114691879 A 2器中进行解码， 生成对应的信息标签， 完成信息抽取操作。 9.一种电子设备， 其特 征在于， 所述电子设备包括至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7任一项所述的基于文本特征 的 信息抽取 方法。 10.一种非易失性计算机可读存储介质， 其特征在于， 所述非易失性计算机可读存储介 质存储有计算机可执行指令， 该计算机可执行指令被一个或多个处理器执行时， 可使得所 述一个或多个处 理器执行权利要求1 ‑7任一项所述的基于文本特 征的信息抽取 方法。权　利　要　求　书 2/2 页 3 CN 114691879 A 3