(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210508804.7 (22)申请日 2022.05.11 (65)同一申请的已公布的文献号 申请公布号 CN 114610861 A (43)申请公布日 2022.06.10 (73)专利权人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 谢冰　宋伟　朱世强　袭向明　 金天磊　周元海　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06F 16/332(2019.01)G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (56)对比文件 CN 114168721 A,202 2.03.11 CN 113379606 A,2021.09.10 CN 108805089 A,2018.1 1.13 CN 114168707 A,202 2.03.11 US 202108958 8 A1,2021.0 3.25 审查员 凡保磊 (54)发明名称 基于变分自编码器的融入知识和感情的端 到端对话方法 (57)摘要 本发明公开了基于变分自编码器的融入知 识和感情的端到端对话方法， 所述方法包括： 采 集情感标签、 对话、 知识和回复， 并进行预处理作 为训练数据； 搭建由变分自编码器模块和拷贝模 块组成的模型， 并进行训练； 预处理测试数据， 将 测试数据输入训练好的模型中进行预测， 得到回 复， 持续进行端到端对话。 变分自编码器模块的 编码模块编码情感标签和输入对话的语义信息。 变分自编码器模块的解码模块融入知识和情感 用于生成内容。 拷贝模块结合解码器生成的内 容、 输入的对话和知识生成回复输出。 本发明方 法采用变分自编码器结构以生 成丰富的回复； 引 入情感标签用于控制回复的情感类型； 从输入对 话和知识中拷贝信息， 使生 成回复兼具丰富性和 可控性。 权利要求书2页 说明书15页 附图7页 CN 114610861 B 2022.08.26 CN 114610861 B 1.一种基于变分自编码器的融入知识和感情 的端到端对话方法， 其特征在于， 所述方 法包括以下步骤： （1） 采集情感标签、 对话、 知识和回复， 并进行 预处理， 得到训练数据； （2） 搭建由变分自编码器模块和拷贝模块组成的模型； 所述变分自编码器模块包括编 码器和解码器； 编码器用于对情感标签、 对话的语义信息进行编码， 得到对话编码矩阵； 解 码器包括编码端和解码端， 用于结合知识生成知识编码矩阵， 再结合知识编码矩阵自回归 生成解码向量和预测情感标签； 拷贝模块利用变分自编 码器模块生成的对话编 码矩阵和知 识编码矩阵结合当前的解码向量更新状态向量； 利用更新后的状态向量再结合对话编 码矩 阵、 知识编码矩阵预测生成输出回复； （3） 将步骤 （1） 预处 理后的训练数据输入步骤 （2） 构建的模型进行训练模型并保存； （4） 采集情感标签和对话， 选取知识， 将情感标签和对话进行包括拼接在内的预处理， 得到预测数据； （5） 将步骤 （4） 预处理后的预测数据输入步骤 （3） 训练好的模型中进行模型预测， 得到 回复。 2.根据权利要求1所述的基于变分自编码器的融入知识和感情的端到端对话方法， 其 特征在于， 所述步骤 （1） 和步骤 （4） 中的预处理包括将情感标签转为独热的类别标签， 拼接 情感标签和对话； 其中拼接情感标签和对话的过程具体为： 以分隔符[CLS]为开始， 之后拼 接情感标签和分隔符[ SEP]， 之后拼接历史对话， 并以[ SEP]分隔， 且长度不超过512。 3.根据权利要求1所述的基于变分自编码器的融入知识和感情的端到端对话方法， 其 特征在于， 模型训练的损失函数公式如下： 其中， Loss为损失值， em ’为预测的情感标签， Y ’为预测的回复， 为t时刻预测的字 符， 为t时刻的标签字符， 为t时刻之前已经预测的字符； U为对话， K为知识， em为情 感标签。 4.根据权利要求1所述的基于变分自编码器的融入知识和感情的端到端对话方法， 其 特征在于， 对话编码矩阵输入前馈神经网络， 生成正态分布的均值和方差； 将知识输入变分 自编码器的解码 器的编码端， 得到知识编码矩阵； 对正态分布进 行采样得到采样向量； 模型 预测生成回复时， 将该采样向量加入对话开始字符对应的字嵌入向量中； 变分自编码器模 块解码器的解码端输出解码矩阵， 用于预测生成回复的情感标签。 5.根据权利要求1所述的基于变分自编码器的融入知识和感情的端到端对话方法， 其 特征在于， 拷贝模块将对话编码矩阵进行加权求和得到对话选读向量， 将知识编码矩阵进 行加权求和得到知识选读向量； 将对话选读向量、 知识选读向量、 状态向量与当前解码 器生 成的输出向量进行拼接， 经 过前馈神经网络后得到新的状态向量。 6.根据权利要求5所述的基于变分自编码器的融入知识和感情的端到端对话方法， 其 特征在于， 拷贝模块具有生 成模式和拷贝模式； 在生成模式下， 更新后的状态向量经过线性权　利　要　求　书 1/2 页 2 CN 114610861 B 2层生成各个字符的评分； 在拷贝模式下， 知识编码矩阵中每个输入字符对应的向量经过线 性层的映射和激活函数后与更新后的状态向量做内积得到生成该输入字符的评 分； 对话编 码矩阵中每个输入字符对应的向量经过线性层的映射和激活函数后与更新后的状态向量 和从正态分布中采样得到的向量的和做内积得到生成该输入字符的概率； 结合生成模式和 拷贝模式， 将各个模式下生成字符的评分相加， 归一 化后得到模型生成字符的概 率。 7.根据权利要求5所述的基于变分自编码器的融入知识和感情的端到端对话方法， 其 特征在于， 所述步骤 （5） 具体为： 基于模型生成字符 的概率， 采用贪心搜索或集束搜索选取 字符， 生成回复； 直至生成[CLS]、 [SEP]、 开始符或结束符， 完成回复的生成； 将变分自编码 器模块解码器的解码端输出 的解码矩阵经平均池化后输入前馈神经网络得到预测的情感 标签； 将模型生 成的回复给用户后， 用户回复新的内容； 将模 型生成的回复和用户的新回复 拼接到对话中； 选取新的情感标签拼接到对话前面； 选取知识， 输入模型， 持续进行端到端 对话。 8.一种电子设备， 包括存储器和 处理器， 其特征在于， 所述存储器与所述处理器耦接； 其中， 所述存储器用于存储程序数据， 所述处理器用于执行所述程序数据以实现上述权利 要求1‑7任一项所述的基于变分自编码器的融入知识和感情的端到端对话方法。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器 执行时实现如权利要求 1‑7中任一所述的基于变分自编 码器的融入知识和感情的端到端对 话方法。权　利　要　求　书 2/2 页 3 CN 114610861 B 3