(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211109798.4 (22)申请日 2022.09.13 (71)申请人 中国农业银行股份有限公司 地址 100005 北京市东城区建国门内大街 69号 (72)发明人 崔泽坤　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 王蕊　黄健 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/216(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 分类模型的训练方法、 文本分类方法、 装置 及设备 (57)摘要 本申请提供一种分类模 型的训练方法、 文本 分类方法、 装置及设备， 该分类模型的训练方法 包括： 电子设备根据多个样本文本， 构建样本词 表， 根据样本词表， 生成词向量矩阵， 根据至少一 个样本文本和词向量矩阵， 对神经网络模型进行 至少一轮训练， 得到分类模型。 其中， 任一轮训练 过程包括： 根据上一轮训练得到的神经网络模 型、 样本文本以及词向量矩阵， 确定各类标向量 对应的多个目标词向量， 并根据上一轮训练得到 的神经网络模 型、 各类标向量以及对应的多个目 标词向量， 确定样本文本的文本语义向量， 基于 文本语义向量生成本轮训练得到的神经网络模 型。 在技术方案中， 提高了训练得到的分类模型 的处理效率和准确度。 权利要求书2页 说明书15页 附图4页 CN 115391542 A 2022.11.25 CN 115391542 A 1.一种分类模型的训练方法， 其特 征在于， 包括： 根据多个样本文本， 构建样本词表， 每一样本文本包括通过分词处理得到的多个样本 子文本以及至少一个 类标， 所述样本词表包括多个样本 子文本以及多个 类标； 根据所述样本词表， 生成词向量矩阵， 所述词向量矩阵包括所述样本词表中各样本子 文本分别对应的词向量以及各类标分别对应的类标向量； 根据至少一个样本文本和所述词向量矩阵， 对神经网络模型进行至少一轮训练， 得到 分类模型； 任一轮训练过程包括： 根据上一轮训练得到的神经网络模 型、 所述样本文本以及 所述词向量矩阵， 确定各类标向量对应的多个目标词向量， 并根据所述上一轮训练得到的 神经网络模型、 各类标向量以及对应的多个目标词向量， 确定所述样本文本的文本语义向 量， 基于所述文本语义向量 生成本轮训练得到的神经网络模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据上一轮训练得到的神经网络模 型、 所述样本文本以及所述词向量矩阵， 确定各类标向量对应的多个目标词向量， 包括： 根据所述上一轮训练得到的神经网络模型、 所述样本文本以及所述词向量矩阵， 确定 所述样本文本的各词向量； 针对任一类标向量， 分别计算所述样本文本中各词向量与所述类标向量的相关度； 将所述相关度最大的第一预设数量个词向量确定为所述类标向量对应的多个目标词 向量。 3.根据权利要求1或2所述的方法， 其特征在于， 所述根据所述上一轮训练得到的神经 网络模型、 各类标向量以及 对应的多个目标词向量， 确定所述样本文本的文本语义向量， 包 括： 针对任一类标向量对应的多个目标词向量， 根据所述上一轮训练得到的神经网络模 型， 以及， 各目标词向量对应的样 本子文本在所述样本文本中出现的位置， 对多个目标词向 量进行排序， 确定目标词序列向量； 根据所述目标词序列向量， 确定所述类标向量对应的样本 子文本语义向量； 将各类标向量对应的样本子文本语义向量进行平均， 确定所述样本文本的文本语义向 量。 4.根据权利要求3所述的方法， 其特征在于， 所述针对任一类标向量对应的多个目标词 向量， 根据所述上一轮训练得到的神经网络模型， 以及， 各目标词向量对应的样本子文本在 所述样本文本中出现的位置， 对多个目标词向量进行排序， 确定目标词序列向量， 包括： 针对任一类标向量对应的多个目标词向量， 根据所述上一轮训练得到的神经网络模 型， 以及， 各目标词向量对应的样 本子文本在所述样本文本中出现的位置， 对多个目标词向 量进行排序， 确定初始词序列向量； 根据每一目标词向量对应的样本子文本与其他样本子文本在所述样本文本中的距离 以及第二预设数量， 构建窗口， 所述窗口包括所述 目标词向量以及与所述 目标词向量对应 的样本子文本距离最近的第二预设数量个词向量； 计算每一 窗口内各向量的平均向量， 并根据每一 窗口的平均向量构建所述目标词向量 对应的样本 子文本序列。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述目标词序列向量， 确定所述 类标向量对应的样本 子文本语义向量， 包括：权　利　要　求　书 1/2 页 2 CN 115391542 A 2提取所述目标词序列向量的文本特 征； 根据自我关注Self ‑Attention机制以及 所述文本特征， 确定所述目标词序列向量 中各 目标词向量的语义向量； 根据各目标词向量的语义向量以及所述目标词向量对所述类标向量的贡献度， 确定所 述类标向量对应的样本 子文本语义向量。 6.根据权利要求1所述的方法， 其特征在于， 所述样本词表还包括各样本子文本序号以 及类标序号； 所述词向量矩阵还包括各词向量对应的样本子文本序号以及各类标向量对应 的类标序号， 所述根据至少一个样本文本和所述词向量矩阵， 对神经网络模型进行至少一 轮训练， 得到分类模型， 包括： 根据至少一个样本文本的多个样本子文本序号以及至少一个类标序号， 对所述神经网 络模型进行至少一轮训练， 得到所述分类模型。 7.一种文本分类方法， 其特 征在于， 包括： 根据多个待分类文本， 构建词表， 所述待分类文本包括通过分词处理得到的多个子文 本， 所述词表包括多个子文本以及预 先设置的类别 信息； 将至少一个待分类文件以及所述词表输入分类模型， 获取所述待分类文件的分类结 果， 所述分类模型为采用如权利要求1 ‑6任一项所述的方法训练得到的。 8.一种分类模型的训练装置， 其特 征在于， 包括： 构建模块， 用于根据多个样本文本， 构建样本词表， 每一样本文本包括通过分词处理得 到的多个样本子文本 以及至少一个类标， 所述样本词表包括多个样本子文本 以及多个类 标； 生成模块， 用于根据 所述样本词 表， 生成词向量矩阵， 所述词向量矩阵包括所述样本词 表中各样本 子文本分别对应的词向量以及各类标分别对应的类标向量； 训练模块， 用于根据至少一个样本文本和所述词向量矩阵， 对神经网络模型进行至少 一轮训练， 得到分类模型； 任一轮训练过程包括： 根据上一轮训练得到的神经网络模型、 所 述样本文本以及所述词向量矩阵， 确定各类标向量对应的多个目标词向量， 并根据所述上 一轮训练得到的神经网络模型、 各类标向量以及对应的多个目标词向量， 确定所述样本文 本的文本语义向量， 基于所述文本语义向量 生成本轮训练得到的神经网络模型。 9.一种文本分类装置， 其特 征在于， 包括： 构建模块， 用于根据多个待分类文本， 构建词表， 所述待分类文本包括通过分词处理得 到的多个子文本， 所述词表包括多个子文本以及预 先设置的类别 信息； 输入模块， 用于将至少一个待分类文件以及所述词表输入分类模型， 获取所述待分类 文件的分类结果， 所述分类模型为采用如权利要求1 ‑6任一项所述的方法训练得到的。 10.一种电子设备， 包括： 处理器、 存储器及存储在所述存储器上并可在处理器上运行 的计算机程序指令， 其特征在于， 所述处理器执行所述计算机程序指令时用于实现如权利 要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115391542 A 3