(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210941916.1 (22)申请日 2022.08.08 (71)申请人 广西科学院 地址 530007 广西壮 族自治区南宁市大 学 大岭路98号 (72)发明人 覃晓　元昌安　龙珑　郑宏春　 蒋建辉　陈龙　 (74)专利代理 机构 北京远大卓悦知识产权代理 有限公司 1 1369 专利代理师 邓雪明 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/279(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 文本标签预测模 型训练方法、 文本标签预测 方法、 装置、 设备及 介质 (57)摘要 本发明公开了文本标签预测模 型训练方法、 文本标签预测方法、 装置、 设备及介质， 涉及人工 智能技术领域， 其中， 文本标签预测模型训练方 法包括如下步骤： S110， 获取训练文本集合以及 和其相应的真实标签； S120， 使用第一Bert模型 的文本分词及单词映射模块初始化训练文本集 合中的文本， 得到训练文本集合中每一个单词的 特征表示， 并以每一个单词的特征表 示为节点构 建文本级图； S130， 训练预测模型。 本发明提供的 方法， 能够解决现有Text ‑Level‑GCN文本分类方 法难以提取到含有语义的文本特征， 从而分类效 果不佳的问题。 权利要求书2页 说明书9页 附图3页 CN 115391525 A 2022.11.25 CN 115391525 A 1.一种文本标签预测模型训练方法， 其特 征在于， 包括以下步骤： S110， 获取训练文本集 合以及和所述训练文本集 合相应的真实标签； S120， 使用第一B ert模型的文本分词及单词映射模块初始化所述训练文本集合中的文 本， 得到所述训练文本集合中每一个单词的特征表示， 并以每一个单词的所述特征表示为 节点构建文本级图， 其中： 每一个单词的所述特征表示携带有所述第一Bert模型提取的相 应单词的语义特 征信息； S130， 训练预测模型， 训练预测模型步骤如下： 所述预测模型输出分类预测； 根据所述分类预测和所述真实标签迭代训练所述预测模型， 得到训练完成的预测模 型； 其中： 所述预测模型包括Text ‑level‑BertGCN模型， 所述Text ‑level‑BertGCN模型包 括第二Ber t模型和Text ‑level‑GCN模型， 所述预测模型输出分类预测包括以下步骤： 使用第二Bert模型的文本分类模块对所述文本级图中每个节点的特征表示进行计算， 获得每个节点的文本分类特 征； Text‑level‑GCN模型汇聚所述文本分类特 征， 利用softmax 模块得到GCN分类预测ygcn。 2.根据权利要求1所述的文本标签预测模型训练方法， 其特征在于， 所述步骤S130中， 所述预测模型还 包括第三Ber t模型， 所述预测模型输出分类预测还 包括以下步骤： 所述第三B ert模型处理所述训练文本集合 中的文本， 得到文本特征， 再经过softmax模 块处理， 得到Ber t分类预测ybert； 将所述Ber t分类预测ybert和GCN分类预测ygcn进行加权合成得到分类预测。 3.根据权利要求1或2所述的文本标签预测模型训练方法， 其特征在于， 所述步骤S130 中， 所述根据所述分类预测 和所述真实标签迭代训练所述预测模型， 包括： 根据所述分类预测和所述真实标签计算交叉熵损失， 当所述交叉熵损失值大于等于预 设的损失阈值时， 对所述预测模型进行迭代训练， 直至所述交叉熵损失值小于所述损失阈 值时， 停止训练， 得到训练完成的预测模型。 4.根据权利要求2所述的文本标签预测模型训练方法， 其特征在于， 所述加权合成方法 为： 其中： 是可变参数， 取值范围[0.1,1]， 用于平衡所述Bert分类预测ybert和GCN分类预测ygcn 的作用， y是 所述分类预测。 5.根据权利要求3所述的文本标签预测模型训练方法， 其特征在于， 所述交叉熵损失计 算公式如下： loss＝‑glogy， 其中： L oss为交叉熵损失， g是 所述真实标签， y是 所述分类预测。 6.一种文本标签预测方法， 其特 征在于， 包括： S210， 获取待标签预测的文本集 合； S220， 使用第一B ert模型的文本分词及单词映射模块初始化所述待标签预测的文本集 合中的文本， 得到所述待标签预测的文本集合中每一个单词的特征表示， 并以每一个单词权　利　要　求　书 1/2 页 2 CN 115391525 A 2的所述特征表示为节点构建文本级图， 其中： 每一个单词的所述特征表示携带有所述第一 Bert模型提取的相应单词的语义特 征信息； S230， 将所述文本级图和待标签预测的文本集合中的文本输入预测模型， 得到文本标 签预测， 所述预测模 型是权利要求 1至5任一项 所述的文本标签预测模型训练方法训练得到 的。 7.一种文本标签预测训练装置， 其特 征在于， 包括如下模块： 获取模块， 用于获取训练文本集 合以及和所述训练文本集 合相应的真实标签； 构图模块， 用于使用第一Bert模型的文本分词及单词映射模块初始化所述训练文本集 合中的文本， 得到所述训练文本集合中每一个单词的特征表示， 并以每一个单词的所述特 征表示为节点构建文本级图， 其中： 每一个单词的所述特征表示携带有所述第一Bert模型 提取的相应单词的语义特 征信息； 训练模块， 用于训练预测模型， 训练预测模型步骤如下： 所述预测模型输出分类预测； 根据所述分类预测和所述真实标签迭代训练所述预测模型， 得到训练完成的预测模 型； 其中： 所述预测模型包括Text ‑level‑BertGCN模型， 所述Text ‑level‑BertGCN模型包 括第二Ber t模型和Text ‑level‑GCN模型， 所述预测模型输出分类预测包括以下步骤： 使用第二Bert模型的文本分类模块对所述文本级图中每个节点的特征表示进行计算， 获得每个节点的文本分类特证； Text‑level‑GCN模型汇聚所述文本分类特 征， 利用softmax 模块得到GCN分类预测ygcn。 8.一种文本标签预测装置， 其特 征在于， 包括： 获取模块， 用于获取待标签预测的文本集 合； 构图模块， 用于使用第一Bert模型的文本分词及单词映射模块初始化所述待标签预测 的文本集合中的文本， 得到所述待标签预测的文本集合中每一个单词的特征表示， 并以每 一个单词的所述特征表示为节点构建文本级图， 其中： 每一个单词的所述特征表示携带有 所述第一Ber t模型提取的相应单词的语义特 征信息； 预测模块， 用于将所述文本级图和待标签预测的文本集合中的文本输入预测模型， 得 到文本标签预测， 所述预测模型是权利要求 1至5任一项所述的文本标签预测模 型训练方法 训练得到的。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 5任一项所述文本标签预测模型训练方法， 或如权利要求6所述文本标签预测方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至5任一项 所述文本标签预测模型训 练方法， 或如权利要求6所述文本标签预测方法。权　利　要　求　书 2/2 页 3 CN 115391525 A 3