(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211192577.8 (22)申请日 2022.09.28 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310023 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 胡翔　孔心宇　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 段登新 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 用于训练及应用机器学习模型的方法、 系 统、 装置和介质 (57)摘要 公开了一种用于训练机器学习模型的方法， 包括获取包括多个句子及其经标注标签集的训 练集， 生成句子的解析树并生成句子的标签树， 确定该句子的总损失， 该总损失等于解析树生成 损失和标签树生成损失的加权和； 以及使用该训 练集训练该机器学习模型以最小化该总损失。 本 申请还涉及用于训练机器学习模型以及使用该 机器学习模型处 理句子的系统、 装置和介质。 权利要求书2页 说明书13页 附图10页 CN 115496225 A 2022.12.20 CN 115496225 A 1.一种用于训练机器学习模型的方法， 所述方法包括： 获取训练集， 所述训练集包括多个训练样本， 每个训练样本包括句子及所述句子的经 标注标签集； 使用第一机器学习模型生成所述句子的解析树， 所述 解析树具有二叉树结构； 使用第二机器学习模型生成所述句子的潜在标签树， 所述潜在标签树与所述解析树具 有相同结构； 确定生成所述潜在标签树的标签树生成损失， 其中所述标签树生成损失与基于预定义 收集规则从所述潜在标签树收集的标签集与所述句子的经标注标签集相同的概率负相关； 以及 使用所述训练集训练所述第二机器学习模型， 以最小化所述标签树 生成损失。 2.如权利要求1所述的方法， 其中基于预定义收集规则收集的标签集与所述句子的经 标注标签集相同的概率等于所述潜在标签树中基于预定义规则收集的标签集与所述经标 注标签集相同的所有可能子空间的概 率总和。 3.如权利要求1所述的方法， 其中所述第 一机器学习 模型是未经训练的， 其中所述方法 还包括： 确定所述句子的总损失， 所述总损失等于生成所述解析树的解析树生成损失和生成所 述潜在标签树的标签树 生成损失的加权和； 以及 使用所述训练集， 同时训练所述第一机器学习模型和所述第二机器学习模型， 以最小 化所述总损失。 4.如权利要求1所述的方法， 其中使用Fast ‑R2D2模型来 生成所述句子的所述 解析树。 5.如权利要求1所述的方法， 其中所述潜在标签树中的节点包括非终止节点和终止标 签节点， 其中终止标签节点的标签为任务标签。 6.如权利要求5所述的方法， 其中所述潜在标签树还 包括终止空标签节点。 7.如权利要求6所述的方法， 所述预定义收集规则为： 仅当所述潜在标签树中的节点具 有任务标签且该节点的所有祖 先节点均为非 终止节点时， 才收集该节点的该任务标签。 8.如权利要求6所述的方法， 其中使用动态规划来遍历所述 解析树。 9.如权利要求8所述的方法， 其中使用动态规划来遍历所述解析树包括在遇到终止节 点时停止遍历所述终止节点的子节点。 10.如权利要求8所述的方法， 其中使用动态规划来遍历所述解析树包括： 在假设所述 解析树的两个非交叠跨度不与同一任务标签相关联的情况 下计算所述 概率。 11.如权利要求1所述的方法， 其中使用Transformer模型将所述解析树的每个跨度的 表示由自底向上编码转换为自顶向下编码。 12.一种用于对句子执 行处理的方法， 所述方法包括： 获取待处 理的句子； 使用经训练的第一机器学习模型预测所述句子的解析树， 所述解析树具有二叉树结 构； 以及 使用经训练的第二机器学习 模型预测所述句子的标签树， 所述标签树与所述解析树具 有相同结构， 其中预测所述句子的标签树包括预测所述标签树中的每 个节点的标签。 13.如权利要求12所述的方法， 进一 步包括：权　利　要　求　书 1/2 页 2 CN 115496225 A 2使用预定义收集 规则来收集所述标签树中的标签， 以生成所述句子的标签集。 14.如权利要求12所述的方法， 进一 步包括： 其中所述第二机器学习模型 是根据如权利要求1 ‑11中任一项所述的方法训练的。 15.一种用于训练机器学习模型的系统， 包括： 训练集获取模块， 用于获取训练集， 所述训练集包括多个训练样本， 每个训练样本包括 句子及所述句子的经 标注标签集； 解析树生成模块， 用于使用第一机器学习模型生成所述句子的解析树， 所述解析树具 有二叉树结构； 标签树生成模块， 用于使用第二机器学习模型生成所述句子的潜在标签树， 所述潜在 标签树与所述 解析树具有相同结构； 以及 训练模块， 用于确定生成所述标签树的标签树生成损 失， 其中所述标签树生成损 失与 基于预定义收集规则从潜在标签树收集的标签集与所述句子的经标注标签集相同的概率 负相关， 以及使用所述训练集训练所述第二机器学习模型， 以最小化所述标签树 生成损失。 16.如权利要求15所述的系统， 其中所述标签树中的节点包括非终止节点、 终止标签节 点和终止空标签节 点， 其中终止标签节点的标签为任务标签， 其中所述预定义收集规则为： 仅当所述标签树中的节点具有任务标签且该节点的所有祖先节点均为非终止节点时， 才收 集该节点的该任务标签。 17.一种用于训练机器学习模型的装置， 包括： 存储器； 以及 处理器， 所述处 理器被配置成执 行如权利要求1 ‑14中任一项所述的方法。 18.一种存储指令的计算机可读存储介质， 所述指令当被计算机执行时， 使所述计算机 执行如权利要求1 ‑14中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115496225 A 3