(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210288560.6 (22)申请日 2022.03.23 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 王勇　龙睿　孙拔群　柴鹰　 刘子玉　苏文博　 (74)专利代理 机构 北京友联知识产权代理事务 所(普通合伙) 11343 专利代理师 王丹玉　汪海屏 (51)Int.Cl. G06F 16/35(2019.01) G06K 9/62(2022.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 文本分类模型的训练方法、 装置、 电子设备 和存储介质 (57)摘要 本申请公开了一种文本分类模型的训练方 法、 装置、 电子设备和存储介质， 属于模 型训练技 术领域。 文本分类模型的训练方法， 包括： 构建第 一文本表征网络、 第二文本表征网络和第三文本 表征网络， 第一文本表征网络与第二文本表征网 络为语义相近的表征网络， 第二文本表征网络与 第三文本表征网络为语义不同的表征网络； 将文 本数据集输入至第一文本表征网络、 第二文本表 征网络和第三文本表征网络对文本分类模型进 行训练， 以得到训练后的文本分类模型。 权利要求书2页 说明书16页 附图6页 CN 114637851 A 2022.06.17 CN 114637851 A 1.一种文本分类模型的训练方法， 其特 征在于， 包括： 构建第一文本表征网络、 第二文本表征网络和第三文本表征网络， 所述第一文本表征 网络与所述第二文本表征网络为语义相近的表征网络， 所述第二文本表征网络与所述第三 文本表征网络为语义 不同的表征网络； 将文本数据集输入至所述第 一文本表征网络、 所述第 二文本表征网络和所述第 三文本 表征网络对文本分类模型进行训练， 以得到训练后的文本分类模型。 2.根据权利要求1所述的文本分类模型的训练方法， 其特征在于， 所述构建第 一文本表 征网络、 第二文本表征网络和第三文本表征网络， 包括： 获取第一抛 出值和第二抛 出值； 根据所述第一抛 出值， 构建所述第一文本表征网络和所述第二文本表征网络； 根据所述第二抛 出值， 构建所述第三文本表征网络； 其中， 所述第一抛 出值小于所述第二抛 出值。 3.根据权利要求2所述的文本分类模型的训练方法， 其特 征在于， 所述第一抛 出值的取值范围为大于 0.00001， 小于0.5； 所述第二抛 出值的取值范围为大于 0.50001， 小于1。 4.根据权利要求1至3中任一项所述的文本分类模型的训练方法， 其特征在于， 在所述 将文本数据集输入至所述第一文本表征网络、 所述第二文本表征网络和所述第三文本表征 网络对文本分类模型进行训练， 以得到训练后的文本分类模型之前， 还 包括： 获取文本样本数据； 按照预设规则， 对所述文本样本数据进行分词处 理， 以得到所述文本数据集。 5.根据权利要求1至3中任一项所述的文本分类模型的训练方法， 其特征在于， 所述将 文本数据集输入至所述第一文本表征网络、 所述第二文本表征网络和所述第三文本表征网 络进行训练， 以得到训练后的文本分类模型， 包括： 获取预设训练次数； 按照所述预设训练次数， 根据所述文本数据集训练多个所述文本分类模型； 获取多个所述文本分类模型中每 个所述文本分类模型对应的损失函数； 根据所述多个损失函数， 确定多个所述文本分类模型中的训练后的文本分类模型。 6.根据权利要求4所述的文本分类模型的训练方法， 其特征在于， 所述获取多个所述文 本分类模型中每 个所述文本分类模型对应的损失函数， 还 包括： 获取每个所述文本分类模型的第一语义向量、 第二语义向量和第三语义向量； 根据所述第一语义向量、 所述第二语义向量和所述第三语义向量， 确定所述文本分类 模型的模型损失函数； 其中， 所述第一语义向量与所述第一文本表征网络对应， 所述第二语义向量与所述第 二文本表征网络对应， 所述第二语义向量与所述第一文本表征网络对应。 7.根据权利要求6所述的文本分类模型的训练方法， 其特征在于， 所述根据所述第 一语 义向量、 所述第二语义向量和所述第三语义向量， 确定所述文本 分类模型的模型损失函数， 包括： 根据所述第一语义向量和预设向量， 确定第一损失函数； 根据所述第一语义向量、 所述第二语义向量和所述第三语义向量， 确定第二损失函数；权　利　要　求　书 1/2 页 2 CN 114637851 A 2根据所述第一损失函数和所述第二损失函数， 确定所述模型损失函数。 8.根据权利要求7所述的文本分类模型的训练方法， 其特征在于， 所述根据所述第 一语 义向量、 所述第二语义向量和所述第三语义向量， 确定第二损失函数， 包括： 计算所述第一语义向量和所述第二语义向量的第一 余弦距离； 计算所述第二语义向量和所述第三语义向量的第二 余弦距离； 根据所述第一 余弦距离和所述第二 余弦距离， 确定第二损失函数。 9.根据权利要求8所述的文本分类模型的训练方法， 其特征在于， 所述根据所述第 一损 失函数和所述第二损失函数， 确定所述模型损失函数包括： 根据所述第二语义向量和所述预设向量， 确定第三损失函数； 根据所述第一损 失函数、 所述第二损 失函数和所述第三损 失函数， 确定所述模型损 失 函数。 10.根据权利要求9所述的文本分类模型的训练方法， 其特征在于， 所述根据所述第一 损失函数、 所述第二损失函数和所述第三损失函数， 确定所述模型损失函数， 包括： 根据所述第一语义向量和所述第二语义向量， 确定第四损失函数； 根据所述第一损失函数、 所述第 二损失函数、 所述第 三损失函数和所述第四损失函数， 确定所述模型损失函数。 11.一种文本分类模型的训练装置， 其特 征在于， 包括： 构建模块， 用于构建第一文本表征网络、 第二文本表征网络和第三文本表征网络， 第一 文本表征网络与第二文本表征网络为语义相近的表征网络， 第二文本表征网络与第三文本 表征网络为语义 不同的表征网络； 训练模块， 用于将文本数据集输入至第一文本表征网络、 第二文本表征网络和第三文 本表征网络对文本分类模型进行训练， 以得到训练后的文本分类模型。 12.一种电子设备， 其特 征在于， 包括： 存储器， 其上存 储有程序或指令； 处理器， 用于执行所述程序或指令时实现如权利要求1至10中任一项所述的文本分类 模型的训练方法的步骤。 13.一种可读存储介质， 其上存储有程序或指令， 其特征在于， 所述程序或指令被处理 器执行时实现如权利要求1至10中任一项所述的文本分类模型的训练方法的步骤。权　利　要　求　书 2/2 页 3 CN 114637851 A 3