(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211043563.X (22)申请日 2022.08.29 (71)申请人 浙江极氪智能科技有限公司 地址 315800 浙江省宁波市北仑区新碶街 道岷山路138 8号商务大厦1幢10 31室 申请人 浙江吉利控股集团有限公司 (72)发明人 胡俊佳　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 李威 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/216(2020.01)G06F 40/289(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种联合实现意图识别和语义槽填充的方 法 (57)摘要 本申请提出了一种联合实现意图识别和语 义槽填充的方法， 该方法可 以包括： 获取初始词 向量序列； 基于注意力机制对初始词向量序列进 行编码及特征提取， 得到的输出包括初始词序列 中的初始词分别属于各个意图标签和各个槽位 标签的概率； 基于分类表征符属于各个意图标签 的概率， 以及初始文本词属于各个槽位标签的概 率， 构建备选标签序列； 分别计算各个备选标签 序列的概率得分， 将概率得分最大的备选标签序 列确定为目标标签序列； 基于目标标签序列确定 用户输入的文本信息中包含的意图以及需要填 充的语义槽。 通过本申请 的技术方案， 可 以将意 图分类和语义槽填充统一到一个序列标注的框 架下， 实现意图识别和语义槽填充的联合学习。 权利要求书3页 说明书11页 附图4页 CN 115455141 A 2022.12.09 CN 115455141 A 1.一种联合实现意图识别和语义槽填充的方法， 其特 征在于， 所述方法包括： 获取初始词向量序列， 所述初始词向量序列基于初始词序列编码得到； 所述初始词序 列中的初始词包括初始文本词和分类表征符； 所述初始文本词基于用户输入的文本信息分 词得到； 基于注意力 机制对所述初始词向量序列进行编码及特征提取， 得到的输出包括所述初 始词序列中的初始词分别属于各个意图标签和各个槽位标签的概 率； 基于所述分类表征符属于各个意图标签的概率， 以及所述初始文本词属于各个槽位标 签的概率， 构建备选标签序列； 每个备选标签序列包含所述分类表征符选取的意图标签、 以 及每个初始文本词分别选取的槽位标签， 且所述每个备选标签序列包含的标签中至少存在 一个所述初始词对应的标签不相同； 分别计算各个备选标签序列的概率得分， 将概率得分最大的备选标签序列确定为目标 标签序列； 基于所述 目标标签序列包含的意图标签和槽位标签， 确定所述用户输入的文本 信息中包 含的意图以及需要填充的语义槽 。 2.根据权利要求1所述的方法， 其特征在于， 所述基于注意力 机制对所述初始词向量序 列进行编码及特 征提取， 包括： 将所述初始词向量序列输入Transformer网络， 所述Transformer网络包含编码器单 元； 获取所述编码器单 元对所述初始词向量序列进行编码及特 征提取后的输出。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 向所述Transformer网络输入表征所述初始词序列中所有初始词位置的向量， 以及表 征所述所有初始词之 间上下文联系的向量， 以用于所述编 码器单元对所述初始词向量序列 进行编码及特 征提取。 4.一种联合实现意图识别和语义槽填充模型的训练方法， 其特 征在于， 该 方法包括： 获取样本初始词向量序列以及样本文本信息所包含的实际意图和需要填充的实际语 义槽； 所述样本初始词向量序列基于样本初始词序列编码得到， 所述样本初始词序列中的 样本初始词包括样本初始文本词和分类表征符； 所述样本初始文本词基于所述样本文本信 息分词得到； 基于注意力 机制对所述样本初始词向量序列进行编码及特征提取， 得到的输出包括所 述样本初始词序列中的样本初始词分别属于各个意图标签和各个槽位标签的概 率； 基于所述分类表征符属于各个意图标签的概率以及所述样本初始文本词属于各个槽 位标签的概率， 构建样本备选标签序列； 每个样本备选标签序列包含所述分类表征符选取 的意图标签、 以及每个样本初始文本词分别选取 的槽位标签， 且所述每个样本备选标签序 列包含的标签中至少存在一个所述样本初始词对应的标签不相同； 分别计算各个样本备选标签序列的概率得分， 根据 所述概率得分对所述联合实现意图 识别和语义槽填充模型进 行迭代训练， 直至迭代次数达到次数上限或损失函数收敛时完成 训练； 其中， 所述损失函数 的收敛条件为： 样本目标标签序列的概率得分最大化， 所述样本 目标标签序列由所述分类表征符选取所述实际意图对应的意图标签、 所述样本初始文本词 分别选取 所述实际语义槽对应的槽位标签构建而成。 5.根据权利要求4所述的方法， 其特征在于， 所述基于注意力 机制对所述样本初始词向权　利　要　求　书 1/3 页 2 CN 115455141 A 2量序列进行编码及特 征提取， 包括： 将所述样本初始词向量序列输入Transformer网络， 所述Transformer网络包含编码器 单元； 获取所述编码器单 元对所述样本初始词向量序列进行编码及特 征提取后的输出。 6.一种联合实现意图识别和语义 填充的装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取初始词向量序列， 所述初始词向量序列基于初始词序列编码得到； 所述初始词 序列中的初始词包括初始文本词和分类表征符； 所述初始文本词基于用户输入 的文本信息分词得到； 编码单元， 用于基于注意力机制对所述初始词向量序列进行编码及特征提取， 得到的 输出包括所述初始词序列中的初始词分别属于各个意图标签和各个槽位标签的概 率； 构建单元， 用于基于所述分类表征符属于各个意图标签的概率， 以及所述初始文本词 属于各个槽位标签的概率， 构建备选标签序列； 每个备选标签序列包含所述分类表征符选 取的意图标签、 以及每个初始文本词分别选取 的槽位标签， 且所述每个备选标签序列包含 的标签中至少存在一个所述初始词对应的标签不相同； 确定单元， 用于分别计算各个备选标签序列的概率得分， 将概率得分最大的备选标签 序列确定为 目标标签序列； 基于所述 目标标签序列包含的意图标签和槽位标签， 确定所述 用户输入的文本信息中包 含的意图以及需要填充的语义槽 。 7.一种联合实现意图识别和语义槽填充模型的训练装置， 其特 征在于， 该装置包括： 样本获取单元， 用于获取样本初始词向量序列以及样本文本信 息所包含的实际意图和 需要填充的实际语义槽； 所述样本初始词向量序列基于样本初始词序列编码得到， 所述样 本初始词序列中的样本初始词包括样本初始文本词和分类表征符； 所述样本初始文本词基 于所述样本文本信息分词得到； 样本编码单元， 用于基于注意力机制对所述样本初始词向量序列进行编码及特征提 取， 得到的输出包括所述样本初始词序列中的样本初始词分别属于各个意图标签和各个槽 位标签的概 率； 样本构建单元， 用于基于所述分类表征符属于各个意图标签的概率以及所述样本初始 文本词属于各个槽位标签的概率， 构建样本备选标签序列； 每个样本备选标签序列包含所 述分类表征符选取 的意图标签、 以及每个样本初始文本词分别选取 的槽位标签， 且所述每 个样本备选标签序列包 含的标签中至少存在一个所述样本初始词对应的标签不相同； 迭代单元， 用于分别计算各个样本备选标签序列的概率得分， 根据所述概率得分对所 述联合实现意图识别和语义槽填充模型进 行迭代训练， 直至迭代次数达到次数上限或损失 函数收敛时完成训练； 其中， 所述损失函数的收敛条件为： 样本目标标签序列的概率得分最 大化， 所述样本目标标签序列由所述分类表征符选取所述实际意图对应的意图标签、 所述 样本初始文本词分别选取 所述实际语义槽对应的槽位标签构建而成。 8.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器通过运行所述可执行指令以实现如权利要求1 ‑5中任一项所述的方 法。权　利　要　求　书 2/3 页 3 CN 115455141 A 3