(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210337427.5 (22)申请日 2022.04.01 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区砚瓦池 正街47号 (72)发明人 凌艳香　王天琦　赵卫伟　蔺茜　 梁政　曹巍　张清辉　张晓丽　 (74)专利代理 机构 长沙市融智专利事务所(普 通合伙) 43114 专利代理师 熊开兰 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01)G06N 3/08(2006.01) (54)发明名称 基于硬式选择性上下文运用的开放域对话 生成方法、 装置、 设备及 介质 (57)摘要 本发明公开了一种基于硬式选择性上下文 运用的开放域对话生成方法、 装置、 设备及介质， 方法包括： 将历史对话中的最新话语记为查询， 其余话语记 为上下文； 根据信息密度将查询划分 为强查询或弱查询； 采用不同响应生成模块分别 为强、 弱查询进行响应生成； 强查询响应生成模 块基于“编码‑解码”框架构建； 在弱查询响应生 成模块中， 首先分别对上下文和弱查询编码， 然 后使用语义交互模块对上下文和弱查询的语义 进行融合， 得到语义交互向量， 使用弱查询解码 器根据语义交互向量进行响应生成； 弱查询响应 生成模块采用基于共指关系远程监督的多任务 学习框架。 本发明可以根据历史对话的具体情 况， 进行灵活准确的选择性上下文运用， 从而进 行响应生成。 权利要求书2页 说明书12页 附图4页 CN 114691833 A 2022.07.01 CN 114691833 A 1.一种基于硬式选择性上 下文运用的开 放域对话生成方法， 其特 征在于， 包括： 将历史对话中的最 新话语记为 查询， 其余话语记为上 下文； 如果查询的信 息密度超过预设密度值， 则将该查询标记为强查询， 否则标记为弱查询； 对于强查询， 则使用 “编码器‑解码器”架构， 根据强查询进行响应生成； 对于弱查询， 则使用弱查询响应生成模块进行响应生成， 所述弱查询响应生成模块包 括： 上下文编码器、 弱查询编码器、 语义交互模块和弱查询的响应解码器； 响应生成的具体 过程为： 首先使用上下文编 码器和弱查询编 码器， 分别对上下文和弱查询进行编 码， 得到上 下文语义表示和弱查询 语义表示； 然后使用语义交互模块， 对上下文语义表示和弱查询语 义表示进 行语义交互融合， 得到语义交互向量； 最终使用弱查询的响应解码 器， 根据语义交 互向量进行响应生成。 2.根据权利要求1所述的方法， 其特征在于， 所述语义交互模块， 包括自注意力 机制层、 交互注意力机制层和残差连接层； 上下文语义表示和弱查询 语义表示， 分别通过一个 自注 意力机制层进行各自的内部语义增强； 然后使用交互注意力机制层， 使用上下文语义表示 对弱查询 语义表示进行补充增强； 再使用残差连接层， 将弱查询语义与交互注意力机制层 输出的向量进行残差连接， 得到语义交 互向量。 3.根据权利要求1所述的方法， 其特征在于， 所述弱查询响应生成模块的模型参数， 采 用基于共指关系远程监督的多任务学习框架训练得到； 所述基于共指关系远程监督的多任 务学习框架包括所述弱查询响应生成模块和上 下文选择模块； 多任务学习框架包括： 根据对话数据获取 “上下文‑查询‑响应”三元组样本； 对于每个三元组样本， 根据上下文中各话语与查询之间是否存在共指关系， 确定上下 文被选择的真实标签； 将三元组样本中的上下文和查询， 分别作为上下文编码器和弱查询编码器的输入； 上 下文编码器和弱查询编码器的输出， 均作为语义交互模块的输入； 语义交互模块输出 的语 义交互向量， 同时作为响应解码器和上下文选择模块的输入； 最 终， 根据弱查询响应解码 器 的预测输出与真实响应计算弱查询响应解码 器的损失， 根据上下文选择模块的预测输出与 上下文被选择的真实标签计算上下文选择模块的损失， 并将弱查询响应解码 器的损失与上 下文选择模块的损失之和作为总损失， 训练多任务学习框架。 4.根据权利要求3所述的方法， 其特 征在于， 弱查询响应解码器的损失函数计算 为： 其中， 为弱查询响应解码器的训练损失； 为真实响应Um+1的长度； p(wn)是真实响 应Um+1在第n个位置上的独热词向量， 维度为整个词汇表大小|V|； p(yn)是弱查询响应解码 器预测输出在第n个位置上的词分布概 率， 维度同样为|V|； 上下文选择模块的损失计算 函数为： 其中， 为上下文选择模 块的训练损失； m为历史对话包括的话语数量， m ‑1为上下文包 括的话语数量； α 为上下文被选择的真实标签， 为上下文选择模块预测输出的上下文选择 概率。权　利　要　求　书 1/2 页 2 CN 114691833 A 25.根据权利要求3所述的方法， 其特征在于， 所述上下文选择模块采用多层感知机实 现。 6.根据权利要求3所述的方法， 其特征在于， 确定上下文被选择的真实标签， 采用的方 法为： 首先， 将三元 组样本中的上下文C和查询X拼接为一个文本序列， 形成独白文本； 其次， 运用AllenNLP开源的共指消解模型， 对独白文本进行共指消解， 提取出共指关系及指代双 方； 再次， 查找查询X与上下文C中每个话语Ui(Ui∈C， i＝1,...,m ‑1)是否存在共指关系， 如 果存在， 则将话语Ui被选择的标签αi标注为1， 即αi＝1； 反之标注为0， 即αi＝0； 最终， 将上下 文C所有话语的标签值构成上 下文被选择的真实标签α ＝{α1,..., αm‑1}。 7.根据权利要求1所述的方法， 其特征在于， 所述信息密度， 是指话语包含的词数量， 或 者是指话语的平均词级信息熵； 其中， 话语的平均词级信息熵的计算式为： 其中， U表示要计算平均词级信息熵的话语， H(U)表示话语U的平均词级信息熵， wn表示 话语U的第n个词， N表示话语U包含的词数量； p(wn)表示词wn在对话语料中的分布概率， 通过 wn在语料中的出现频率进行近似计算。 8.一种基于硬式选择性上 下文运用的开 放域对话生成装置， 其特 征在于， 包括： 信息密度评估模块， 用于将查询的信息密度与预设密度值进行比较， 并将超过预设密 度值的查询标记为 强查询， 将未超过预设密度值的查询标记 为弱查询； 其中， 查询是指用于 响应生成的历史对话中的最 新话语， 其他话语为上 下文； 强查询的编码器与解码器， 用于根据强查询进行响应生成； 弱查询响应生成模块， 用于根据弱查询进行响应生成； 其中， 所述弱查询响应生成模块 包括： 上下文编码器、 弱查询编码器、 语义交互模块和弱查询解码器； 响应生成的具体过程 为： 首先使用上下文编码 器和弱查询编 码器， 分别对上下文和弱查询进 行编码， 得到上下文 语义表示和弱查询语义表示； 然后使用语义交互模块， 对上下文语义表示和弱查询语义表 示进行语义交互融合， 得到语义交互向量； 最 终使用弱查询解码 器， 根据语义交互向量进 行 响应生成。 9.一种电子设备， 包括存储器及处理器， 所述存储器中存储有计算机程序， 其特征在 于， 所述计算机程序被所述处理器执行时， 使得所述处理器实现如权利要求1～7中任一项 所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1～7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114691833 A 3