(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210955316.0 (22)申请日 2022.08.10 (71)申请人 中译语通科技股份有限公司 地址 100043 北京市石景山区石景山路20 号16层16 01 (72)发明人 彭旋　陈自岩　高鑫　 (74)专利代理 机构 北京绘聚高科知识产权代理 事务所(普通 合伙) 11832 专利代理师 张春慧 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 40/205(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 一种对话生成模型损失参数的确定方法和 装置 (57)摘要 本申请提供了一种对话生成模型损失参数 的确定方法和装置， 所述方法包括： 所述方法包 括： 通过对话数据的标注样本训练对话生成模 型， 得到所述对话生成模型的整体损失参数； 通 过所述标注样本进行虚拟对抗训练， 得到虚拟对 抗损失参数； 根据所述整体损失参数和所述虚拟 对抗损失参数的和值， 得到所述对话生成模型的 最终损失参数。 本申请能够增强对话生成模型的 泛化能力和准确性。 权利要求书2页 说明书9页 附图3页 CN 115357684 A 2022.11.18 CN 115357684 A 1.一种对话 生成模型损失参数的确定方法， 其特 征在于， 所述方法包括： 通过对话数据的标注样本训练对话生成模型， 得到所述对话生成模型的整体损失参 数； 通过所述标注样本进行虚拟对抗训练， 得到虚拟对抗损失参数； 根据所述整体损失参数和所述虚拟对抗损失参数的和值， 得到所述对话生成模型的最 终损失参数。 2.根据权利要求1所述的方法， 其特征在于， 通过对话数据的标注样本训练对话生成模 型， 得到所述对话 生成模型的整体损失参数包括： 对所述对话数据进行词性标注和句法标注， 得到标注样本， 其中， 所述对话数据包括属 于不同对话对象的第一语句和第二语句； 将所述第 一语句输入对话生成模型， 得到所述对话生成模型输出的预测结果， 其中， 所 述预测结果包括预测的第二语句的内容、 词性和句法； 将所述预测结果和所述第 二语句进行对比， 得到所述对话生成模型关于对话生成任务 的第一损失参数、 关于词性预测任务的第二损失参数以及关于句法预测任务的第三损失参 数； 根据所述第 一损失参数、 所述第 二损失参数和所述第 三损失参数得到所述整体损失参 数。 3.根据权利要求2所述的方法， 其特征在于， 对所述对话数据进行词性标注和句法标注 包括： 通过分词工具对所述对话数据进行分词； 采用词性识别方案对所述分词进行词性标注； 采用句法识别方案对所述分词进行句法标注， 其中， 所述句法标注指示所述分词在所 述对话数据中的语句成分或语句关系。 4.根据权利要求2所述的方法， 其特征在于， 得到所述对话生成模型关于对话生成任务 的第一损失参数、 关于词性预测任务的第二损失参数以及关于句法预测任务的第三损失参 数包括： 通过所述对话生成模型的解码器隐状态层获取关于对话生成任务的第 一损失参数， 其 中， 所述对话 生成模型采用编码器 ‑解码器结构； 通过所述对话 生成模型的解码器共享层获取关于词性预测任务的第二损失参数； 通过所述对话 生成模型的解码器共享层获取关于句法预测任务的第三损失参数。 5.根据权利要求1所述的方法， 其特征在于， 所述通过所述标注样本进行虚拟对抗训 练， 得到虚拟对抗损失参数包括： 将所述标注样本的第一语句作为非扰动输入； 通过对所述非扰动输入添加扰动， 变换 得到扰动输入； 根据所述对话生成模型针对所述扰动输入的扰动输出， 和针对所述非扰动输入的非扰 动输出， 得到KL差异； 通过更新所述对话 生成模型的权 重， 最小化所述KL差异， 得到虚拟对抗损失参数。 6.根据权利要求1所述的方法， 其特征在于， 得到所述对话生成模型的最终损失参数之 后， 所述方法还 包括：权　利　要　求　书 1/2 页 2 CN 115357684 A 2针对对话数据的前半句， 通过问答库进行语义检索； 在无法检索到所述前半句对应的后半句时， 采用具有所述最终损失参数的对话生成模 型预测所述前半句的后半句。 7.根据权利要求1所述的方法， 其特 征在于， 所述对话 生成模型为seq2seq模型。 8.一种对话 生成模型损失参数的确定装置， 其特 征在于， 所述装置包括： 训练模块， 用于通过对话数据的标注样本训练对话生成模型， 得到所述对话生成模型 的整体损失参数； 虚拟对抗训练模块， 用于通过所述标注样本进行虚拟对抗训练， 得到虚拟对抗损 失参 数； 更新模块， 用于根据所述整体损 失参数和所述虚拟对抗损 失参数的和值， 得到所述对 话生成模型的最终损失参数。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执 行存储器上所存放的程序时， 实现权利要求1 ‑7任一所述的方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1 ‑7任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115357684 A 3