(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210343005.9 (22)申请日 2022.04.02 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 申请人 北京中科闻歌科技股份有限公司 (72)发明人 张鹏　欧阳洋　张静　高珲　罗引　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 韩帅 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双重感知表示与层级交互记忆网络的 任务型对话模型 (57)摘要 本发明公开基于双重感知表示与层级交互 记忆网络的任务型对话系统， 使用端到端的方法 通过捕捉双重感知表示， 利用设计的层级交互记 忆网络来构造任务型对话系统； 包括对话历史和 用户需求编码模块、 层级交互记忆网络模块、 感 知表示融合模块、 动态记忆解码模块。 静态的需 求感知表示和动态的知识感知表示作为双重感 知表示， 静态的需求感知 表示能够更好地捕捉到 用户最新的需求信息， 动态的知识感知表示能够 将当前的和过去的知识库信息进行整合进而得 到与当前需求相关的知 识信息， 层级交互记忆网 络， 能够增强记忆内容在hop ‑level和layer ‑ level上的交互， 从而增强对知 识的表示能力， 使 得模型能够更准确地从外部知识库中提取相关 的知识信息， 以生成更准确更合 适的回复。 权利要求书2页 说明书10页 附图2页 CN 115168549 A 2022.10.11 CN 115168549 A 1.基于双重感知表示与层级交互记忆网络的任务型对话系统， 其特征在于， 所述系统 使用端到端的方法基于双重感知表示和层级交互记忆网络构造的任务型对话模型； 所述模 型包括对话历史和用户需求编码模块、 层级交互记忆网络模块、 感知表示融合模块、 动态记 忆解码模块； 其中： 所述对话历史和用户需求编码模块用于对完整的对话历史和用户的最新话语进行编 码； 所述层级交互记忆网络模块用于充分学习知识表示； 并在对话编码和解码阶段被使 用； 所述感知表示融合模块用于将静态的需求感知表示和动态的知识感知表示融合成最 终统一的感知表示中， 在融合的过程中使用两个可训练的标量加权求和得到最终的感知表 示， 该感知表示用于帮助对话系统在接下来的动态 记忆解码模块中完成回复的生成； 所述动态记忆解码模块用于动态地从知识库和词汇表中选择单词以生成合适的回复 反馈给用户。 2.根据权利要求1所述的基于双重感知表示与层级交互记忆网络的任务型对话系统， 其特征在于， 所述任务型对话模型构建： 所述在对话历史和用户需求编码模块中， 其输入分别是对话历史和用户最新需求， 对 话历史经过Bi ‑GRU进行编码得到隐藏状态， 使用最后一个隐藏状态作为对话历史表示， 该 表示也将作为所述层级交 互记忆网络模块和所述动态 记忆解码模块的输入； 用户最新需求经过相同的Bi ‑GRU进行编码得到对应的隐藏状态， 而后再经过Self ‑ Attention机制得到增强的用户需求表 示， 运用Attention机制捕捉与当前用户需求相关的 对话语义信息以获得需求感知表示， 该需求感知表示将作为感知融合模块的输入； 所述层级交互记忆网络模块在编码阶段， 层级交互记忆网络将对话历史表示作为询问 向量； 在解码阶段， 层级交互记忆网络将 每一步的解码隐藏状态作为询问向量； 询问向量用 于对内部的记忆信息进行交互， 并输出对应的知识查询结果和知识感知表示； 并利用动态 记忆单元结合之前获得的知识感知表 示， 得到当前最终的知识感知表示； 其中： 知识感知表 示将作为感知表示融合模块的输入； 所述感知表示融合模块的输入分别为需求感知表示和知识感知表示， 将其进行融合后 得到感知表示， 该感知表示将用于动态 记忆解码模块以帮助模型生成更适当的回复； 所述动态记忆解码模块采用sketchGRU作 为解码器， 每一步都将生成新的隐藏状态， 该 隐藏状态将作为层级交互记忆网络的询问向量， 用于获取知识库信息； 在每一个解码步中， 该模块都将生成两种分布： 基于词汇 表的分布和基于知识库的分布； 其中： 所述动态记忆解码模块将结合感知表示、 对话历史表示和知识查询结果生成基于词汇 表的分布， 而后利用层级交互记忆网络的最后一层最后一跳的注意力权重获得基于知识库 的分布； 当该模块一旦从基于词汇表的分布中生成sketch标签， 并将继续从基于知识库的 分布中生成对应的知识实体， 实现对话回复的动态解码。 3.根据权利要求1所述的基于双重感知表示与层级交互记忆网络的任务型对话系统， 其特征在于， 所述对话历史和用户需求编码模块包括对话历史表示、 用户需求表示、 静态需 求感知表示； 所述对话历史和用户需求编 码模块对对话的历史信息和用户最新的话语分别 进行编码， 得到对话历史表示和用户需求表示， 进而 得到静态需求感知表示， 将对话历史表权　利　要　求　书 1/2 页 2 CN 115168549 A 2示作为层级交互记忆网络模块的查询向量， 在外部知识库上查询对话相关的知识信息得到 动态的知识感知表示， 而后将静态的需求感知表示和动态的知识感知表示进行融合， 利用 融合后的感知表示和动态 记忆解码模块 生成最终的回复； 包括如下步骤： 101、 使用单词嵌入矩阵将输入的单词嵌入到一个固定维度的单词向量中， 102、 利用Bi ‑GRU对当前完整的对话历史进行编码以获得对应的隐层状态， 将最后一个 隐层状态作为 最终的对话历史表示； 使用相同的Bi ‑GRU对用户最 新的需求进行编码， 103、 利用Self ‑Attention机制重点关注当前重要的需求信息以获得增强后的需求表 示； 在对话系统给予反馈前， 用户最新的需求信息总是保持不变的， 利用Attention机制捕 捉到最终的需求感知信息 。 4.根据权要求1所述的基于双重感知表示与层级交互记忆网络的任务型对话系统， 其 特征在于， 所述层级交互记忆 网络模块包括hop ‑level记忆交互、 layer ‑level记忆交互和 动态知识感知表示； 其中： 所述层级记忆网络模块在hop ‑level上完成记忆的横向交互； 所述层级记忆网络在 layer‑level上完成记忆的纵向交互， 利用具备自动学习门控机制的高速网络， 使得在 layer‑level层级记忆交互网络能够学习根据当前输入动态地控制信息流， 用于控制上一 层相同hop的知识信息以遗忘无关紧要的信息并强化相关的知识信息； 提取最后一层最后 一跳的知识库记忆内容和对应的注意力权重分布以获得当前的知识感知表示， 利用动态记 忆门控机制， 控制知识信息从上一个解码时刻到当前解码时刻的流动， 以得到更新后的知 识感知表示。 5.根据权利要求1所述的基于双重感知表示与层级交互记忆网络的任务型对话系统， 其特征在于， 所述动态记忆解码模块用于动态地从知识库和词汇表中选择单词以生成合适 的回复反馈给用户步骤: 201、 结合用户的最新需求和对话历史， 使用一个sketch  GRU生成带有标签的对话回 复， 该标签并不是真实的槽值， 而是与 “@poi”类似的sketc h标签； 202、 将双重感知表示、 对话历史表示和外部知识的查询结果进行融合以初始化该 sketch GRU； 在第t个解码时刻， 基于词汇表的分布表 示和基于知识库的分布表 示均会被生 成， 一旦在该解码时刻sketch标签被生成， 所述动态记忆解码模块则会从基于知识库的分 布表示中选择 具有最高概 率的单词进行输出。权　利　要　求　书 2/2 页 3 CN 115168549 A 3