(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210942971.2 (22)申请日 2022.08.08 (71)申请人 云南大学 地址 650091 云南省昆明市五华区翠湖北 路2号 (72)发明人 张璇　高宸　杜鲲鹏　农琼　王旭　 (74)专利代理 机构 昆明金科智诚知识产权代理 事务所(普通 合伙) 53216 专利代理师 胡亚兰 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/335(2019.01) G06F 16/35(2019.01) G06F 40/126(2020.01)G06F 40/151(2020.01) G06F 40/242(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 一种基于信息抽取的联合多意图检测和重 叠槽填充的方法 (57)摘要 本发明提供了一种基于信息抽取的联合多 意图检测和重叠槽填充的方法， 包括以下步骤： S1、 数据预处理： 对输入的句子进行预处理操作； S2、 口语语言编码： 使用基于BERT模型的编码方 式， 对输入文本进行向量化提取特征； S3、 意图槽 值交互： 意图槽值交互基于编码的特征， 识别出 句子中所存在的意图； 再针对特定的意图向量， 构造不同的文本特征与意图向量进行融合； S4、 槽值识别： 通过对前一步骤所获取到的融合向量 进行序列标注任务， 识别出对应的槽值以及槽值 所属的类型； 在多意图场景下， 每个意图分别指 导槽填充， 获得多组槽类型、 意图、 槽值三元组； 解决了现有语义识别过程中存在的多意图识别 不准确、 槽重叠难以解决等问题。 权利要求书2页 说明书9页 附图4页 CN 115292463 A 2022.11.04 CN 115292463 A 1.一种基于信息抽取的联合多意图检测和重叠槽填充的方法， 其特征在于， 包括以下 步骤： S1、 数据预处理： 根据 标注语料中给出的槽类型标注信 息， 将标注语料中的文本序列转 化为BIO形式的标签序列； 对输入的句子进行 预处理操作， 进行初步的格式转换和过 滤； S2、 口语语言编码： 使用基于BERT模型的编码方式， 对输入文本进行向量 化提取特征； S3、 意图槽值交互： 意图槽值交互基于编码的特征， 识别出句子中所存在的意图； 再针 对特定的意图向量， 构造不同的文本特 征与意图向量进行融合； S4、 槽值识别： 通过对前一步骤所获取到的融合向量进行序列标注任务， 识别出对应的 槽值以及槽值所属的类型； 在多意图场景下， 每个意图分别指导槽填充， 获得多组槽类型、 意图、 槽值 三元组。 2.根据权利要求1所述的一种基于信息抽取的联合多意图检测和重叠槽填充的方法， 其特征在于， 所述S1中预处 理操作具体为： 首先， 对初始句子根据BERT的输入要求进行重新分句， 将BERT内置词典外的词语进行 拆分， 从而得到新的句子序列； 然后对新的句子序列进行向量化， 分为两个阶段： 分别是意图标注和槽类型标注； 意图 标注是指根据预定义的意图类别， 需要对所有的意图类别进行编号， 再按照意图编号对所 有句子标记上对应的意图编号； 槽类型标注需要对所有的槽类型进行编号， 再使用槽类型 编号对句子的每 个单词编号， 构建一个对应槽标注序列。 3.根据权利要求1所述的一种基于信息抽取的联合多意图检测和重叠槽填充的方法， 其特征在于， 所述S2中口语 语言编码具体为： 针对当前轮次用户输入的对话查询 经过Wordpiece操作后得到新序 列X＝[x1， x2…， xt]， 利用BERT模型对上下文信息进行编码以生成句子序列嵌入向量集合H ＝[h1， h2， ...， ht]； 其中， 表示第t轮句子的第i个单词， xt表示ut经过Wordpiece操作后得 到的序列的第t个字符， ht表示新序列X第t个字符的嵌入， H为X中所有字符嵌入向量的集 合， 表示基于词的上 下文级别的句子特 征。 4.根据权利要求1所述的一种基于信息抽取的联合多意图检测和重叠槽填充的方法， 其特征在于， 所述S3中意图槽值交互分为以下4个步骤： S31、 多意图识别； S32、 降维； S33、 意 图与语义向量融合； S34、 意图槽值交 互； 其中， S31多意图识别具体为： 根据BERT的输出， 得到基于BERT的特殊标签CLS所生成的 向量特征hcls， 根据CLS的向量表示， 直接使用一个sigmoi d层进行多分类任务， 来识别句子 中的所有意图。 5.根据权利要求4所述的一种基于信息抽取的联合多意图检测和重叠槽填充的方法， 其特征在于， 所述S32具体为： 对句子序列嵌入向量集合H＝[h1， h2， ...， ht]进行降维得到句 子的整体特 征表示Sh， 基于Sh识别出句子中存在的意图； 其中， ht表示第t个字符的嵌入。 6.根据权利要求4所述的一种基于信息抽取的联合多意图检测和重叠槽填充的方法， 其特征在于， 所述S3 3中意图与语义向量融合采用以下公式完成： 权　利　要　求　书 1/2 页 2 CN 115292463 A 2其中， Sk为融合了第k个意图的句子向量表示， αik为第i个意图信息hi在句子序列嵌入H 上的注意力分布。 7.根据权利要求4所述的一种基于信息抽取的联合多意图检测和重叠槽填充的方法， 其特征在于， 所述S34具体为： 如果步骤S32识别 出来的意图为单意图， 则 经过步骤S33后直 接进入槽值识别； 如果步骤S 32识别出来的意图为多意图， 则通过以下门控机制后再进 行槽 值识别： gk＝σ((W1sg+b1)+(W2Sk+b2)) uk＝gk×tanh(W3Sk+b3) 其中W1、 W2、 W3为用于训练 的权重矩阵， b1、 b2、 b3为偏置参数； sg是句子的全局向量表示； Sk是融合了第 k个意图的句子向量表示； uk是融合有 效意图信 息的句子表示； σ 为激活函数； gk为门控机制的阈值。 8.根据权利要求1所述的一种基于信息抽取的联合多意图检测和重叠槽填充的方法， 其特征在于， 所述S4具体 为： 将S3得到的融合有效意图信息的句子表示uk与意图信息hi进行 相加得到新的token向量表示 其中， 表示句子序列嵌入向量集合H中第k个字符嵌入与 意图 信息融合后得到的向量 ； 接下来进行序列标注任务 ， 对于句子向量表示 识别出当前意图下的槽值和槽类型： 其中i∈[1， ..， n]， 表示句子的长度， dw表示BERT输出的维 度， dr_num表示槽值类型的数量乘以2并加1， bh为偏置参数， Wh为用于训练的权重矩阵； 表示句子中第i个词汇在意图rk下的被预测为对应标签的概 率。权　利　要　求　书 2/2 页 3 CN 115292463 A 3