(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111281042.3 (22)申请日 2021.10.2 9 (71)申请人 同盾科技有限公司 地址 310012 浙江省杭州市余杭区五常街 道文一西路9 98号18幢209室 (72)发明人 何免　龚骋伟　符国辉　何保健　 杨晨　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 代理人 孙宝海　袁礼君 (51)Int.Cl. G06F 16/31(2019.01) G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/284(2020.01)G06N 20/00(2019.01) (54)发明名称 一种文本分类方法、 装置、 设备及存 储介质 (57)摘要 本申请的实施例揭示了一种文本分类方法、 装置、 设备及存储介质， 方法包括： 将待分类文本 数据转换为待分类文本向量； 将待分类文本向量 输入到预先建立的Fai ss索引模型进行相似度索 引， 以输出与待分类文本向量相似度最高的N个 训练集中的文本向量， 并将输出的文本向量所对 应的文本 数据作为备选集； 训练集中的文本数据 附有类别标签， 类别标签用于表征文本数据所属 类别； 根据TF ‑IDF技术获取训练集中各类别标签 所对应的类别的特征词； 将备选集中的文本数据 所对应的类别作为备选类别， 根据备选类别以及 待分类文本数据所包含的与备选类别对应的特 征词， 确定待分类文本数据的类别， 提高了文本 分类的速度和分类的准确性。 权利要求书2页 说明书12页 附图6页 CN 114003682 A 2022.02.01 CN 114003682 A 1.一种文本分类方法， 其特 征在于， 包括： 将待分类文本数据转换为待分类文本向量； 将所述待分类文本向量输入到预先建立的Faiss索引模型进行相似度索引， 以输出与 所述待分类文本 向量相似度最高的N个训练集中的文本 向量， 并将输出 的文本向量所对应 的文本数据作为备选集； 所述N为大于或等于2的正整数； 所述训练集中的文本数据附有类 别标签， 所述类别标签用于表征 所述文本数据所属的类别； 根据TF‑IDF技术获取所述训练集中各类别标签所对应的类别的特 征词； 将所述备选集中的文本数据 所对应的类别作为备选类别， 根据 所述备选类别以及所述 待分类文本数据所包含的与所述备选类别对应的特征词， 确定所述待分类文本数据 的类 别。 2.根据权利要求1所述的文本分类方法， 其特征在于， 在所述将待分类文本数据转换为 待分类文本向量之前， 所述方法还 包括： 确定所述待分类文本数据所属业 务场景对应的停用词库； 根据所述停用词库对所述待分类文本数据进行预处理， 以过滤所述待分类文本数据中 的停用词。 3.根据权利要求2所述的文本分类方法， 其特征在于， 所述将待分类文本数据转换为待 分类文本向量， 包括： 将预处理后待分类文本数据输入到预训练模型BERT， 得到所述待分类文本向量。 4.根据权利要求1所述的文本分类方法， 其特征在于， 所述将所述待分类文本向量输入 到预先建立的Fais s索引模型进行相似度索引之前， 包括： 基于所述训练集中的文本数据所对应的文本向量以及内部聚类索引建立所述Faiss索 引模型。 5.根据权利要求4所述的文本分类方法， 其特征在于， 在所述基于所述训练集对应的训 练集向量以及内部聚类索引建立所述Fais s索引模型之后， 所述方法还 包括： 通过广播机制将所述Fais s索引模型传输 到分布式计算 集群上的每 个执行器中； 所述将所述待分类文本向量输入到所述Fais s索引模型进行相似度索引包括： 通过计算引擎在所述执行器 中使用所述Faiss索引模型对所述待分类文本向量进行相 似度索引。 6.根据权利 要求1‑5任一项所述的文本分类方法， 其特征在于， 所述根据TF ‑IDF技术获 取所述训练集中各类别标签所对应的类别的特 征词， 包括： 对所述训练集中各类别的文本数据进行分词处理， 得到各类别的文本数据的分词结 果； 根据所述分词结果和TF ‑IDF技术计算每 个类别的文本数据中各个词的TF ‑IDF值； 选取每个类别中所述TF ‑IDF值最高的K个词作为类别的特 征词， 所述K为 正整数。 7.根据权利要求6所述的文本分类方法， 其特征在于， 所述根据 所述备选类别以及所述 待分类文本数据所包含的与所述备选类别对应的特征词， 确定所述待分类文本数据 的类 别， 包括： 对所述备选类别进行去重处 理， 得到各目标 备选类别； 对所述待分类文本数据进行分词处理， 从得到的分词结果中查找是否包含各目标备选权　利　要　求　书 1/2 页 2 CN 114003682 A 2类别对应的特 征词， 将所包 含的特征词作为目标 特征词； 根据所述目标特征词的TF ‑IDF值， 以及所述目标特征词在所述待分类文本数据中出现 次数， 计算所述待分类文本数据在各目标 备选类别下的目标TF ‑IDF值； 将所述目标TF ‑IDF值最高对应的目标 备选类别作为所述待分类文本数据的类别。 8.一种文本分类装置， 其特 征在于， 包括： 向量转换模块， 用于将待分类文本数据转换为待分类文本向量； 数据索引模块， 用于将所述待分类文本向量输入到预先建立的所述Faiss索引模型进 行相似度索引， 以输出与所述待分类文本向量相似度最高的N个训练集中的文本向量， 并将 输出的文本向量所对应的文本数据作为备选集； 所述N为大于或等于2的正整数； 所述训练 集中的文本数据附有类别标签， 所述类别标签用于表征 所述文本数据所属的类别； 特征获取模块， 用于根据TF ‑IDF技术获取所述训练集中各类别标签所对应的类别的特 征词； 文本分类模块， 用于将所述备选集中的文本数据对应的类别作为备选类别， 根据所述 备选类别以及所述待分类文本数据所包含的与所述备选类别对应的特征词， 确定所述待分 类文本数据的类别。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存储一个或多个程序， 当所述一个或多个被所述一个或多个处理器执 行时， 使得 所述电子设备实现如权利要求1 ‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机可读指令， 当所述计算 机可读指令被 计算机的处 理器执行时， 使计算机执 行权利要求1 ‑7中的任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114003682 A 3