(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211238085.8 (22)申请日 2022.10.11 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 王烨　廖靖波　于洪　雷大江　 黄昌豪　杨峻杰　卞政轩　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王海军 (51)Int.Cl. G06F 16/332(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种增强文本特 征的对话 生成方法和系统 (57)摘要 本发明涉及人机对话领域， 具体涉及一种增 强文本特征的对话生成方法和系统； 该方法包括 获取问题文本和回复文本， 通过TextRank算 法提 取问题文本中的关键词， 得到关键词序列； 引入 关键词编码器， 关键词编码器通过注 意力机制对 每一个关键词进行编码得到对应的关键词向量； 将关键词向量与语义向量拼接后输入第一多层 感知机， 得到包含丰富语义的关键词语义向量； 将关键词语义向量与问题文本向量拼接后通过 第二多层感知机， 得到输入向量； 根据输入向量 训练对话生成模 型， 采用损失函数计算损失值并 反向传播， 调整对话生成模型的参数； 本发明加 强关键词的权重， 增强对文本的特征表达， 达到 生成更高质量的对话文本的目的。 权利要求书2页 说明书7页 附图2页 CN 115495566 A 2022.12.20 CN 115495566 A 1.一种增强文本特 征的对话 生成方法， 其特 征在于， 包括以下步骤： S1.获取问题文本和回复文本， 通过TextRank算法提取问题文本中的关键词， 得到关键 词序列； 通过输入编码器获取问题文本的问题文本向量； S2.引入关键词编码器， 关键词编码器通过注意力机制对关键词序列进行编码得到关 键词向量； S3.将关键词向量与语义向量拼接后输入第一多层感知机， 得到包含丰富语义的关键 词语义向量； S4.将关键词语义向量与问题文本向量 拼接后通过第二多层感知机， 得到 输入向量； S5.根据输入向量和回复文本训练对话生成模型， 采用损失函数计算损失值并反向传 播， 调整对话 生成模型的参数； S6.将待回复文本 输入训练好的对话 生成模型中生成对话。 2.根据权利要求1所述的一种增强文本特征的对话生成方法， 其特征在于， 步骤S4还包 括： 采用输出编码器获取回复文本的回复文本向量； 将关键词语义向量和问题文本向量拼接后通过第二层感知机， 得到第一融合特征， 将 第一融合特 征输入先验网络获取 先验分布参数； 将关键词语义向量、 问题文本向量和回复文本向量拼接后通过第三层感知机， 得到第 二融合特 征， 将第二融合特 征输入识别网络获取近似后验分布参数； 对近似后验分布参数进行重参数化得到隐变量， 通过线性变换将隐变量初始化， 得到 输入向量。 3.根据权利要求1所述的一种增强文本特征的对话生成方法， 其特征在于， 关键词编码 器通过注意力机制对关键词序列进行编码得到关键词向量， 包括： ht＝Enckey(e(K)) Enckey(e(ki))＝LSTM(inputi) 其中， Enckey()表示关键词编码器， K＝k1,k2,...,kt表示关键词序列， ki表示第i个关键 词， ht表示关键词向量， e()表示计算单词的词向量， inputi表示关键词ki的加权向量， LSTM ()表示长短时记忆网络LSTM， α(e(ki),e(kj))表示关键词ki与关键词kj间的注意力权重， 且 1≤j＜i。 4.根据权利要求1所述的一种增强文本特征的对话生成方法， 其特征在于， 采用语义编 码器获取语义向量， 包括： hs＝Encsem(e(S),(h0,c0)) 其中， Encsem()表示语义编码器， hs表示语义向量， h0表示语义编码器初始隐状态， c0表 示语义编码器初始细胞状态， S表示问题文本对应的语义文本 。权　利　要　求　书 1/2 页 2 CN 115495566 A 25.一种增强文本特征的对话生成系统， 其特征在于， 包括样本模块、 关键词提取模块、 编码模块、 融合模块、 训练模块， 其中： 样本模块， 用于获取多组对话样本， 对话样本中包括问题文本和回复文本； 关键词提取模块， 用于在问题文本中提取多个关键词， 组成关键词序列； 编码模块包括输入编码器、 输出编码器、 关键词编码器和语义编码器， 用于对样本模块 和关键词提取模块的数据进行编码； 融合模块包括第一融合模块和第二融合模块： 第一融合模块， 用于融合关键词向量与语义向量得到包含丰富语义的关键词语义向 量； 第二融合模块， 用于融合关键词语义向量与问题文本向量； 训练模块， 用于训练对话生成模型， 采用损失函数计算损失并反向传播， 调整对话生成 模型的参数。 6.根据权利要求5所述的一种增强文本特征的对话生成系统， 其特征在于， 还包括第 三 融合模块、 先验网络和识别网络： 第三融合模块， 用于融合关键词语义向量、 问题文本向量和回复文本向量； 先验网络， 用于 接收第二融合模块的输出 结果， 获取 先验分布参数； 识别网络， 用于 接收第三融合模块的输出 结果， 获取近似后验分布参数。权　利　要　求　书 2/2 页 3 CN 115495566 A 3