(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211292938.6 (22)申请日 2022.10.21 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市北京经济技 术开发区 科创十一 街18号院2号楼6层6 01 (72)发明人 谢红岩　邹波　宋双永　 (74)专利代理 机构 中原信达知识产权代理有限 责任公司 1 1219 专利代理师 王安娜　李阳 (51)Int.Cl. G06F 40/35(2020.01) G06F 16/332(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种对话 话语的编码方法和装置 (57)摘要 本发明公开了一种对话话语的编码方法和 装置， 涉及人工智 能技术领域。 该方法的一具体 实施方式包括： 构建数据集， 所述数据集包括正 样本和负样 本， 所述正样本包括对话话语及其所 属领域， 所述负样本包括对话话语及其非所属领 域； 基于对比学习算法并采用所述数据集对预训 练语言模型进行参数调整， 从而得到编码器； 采 用所述编码器对目标对话话语进行编码。 该实施 方式能够解决领域与对话话语之间没有语义对 应关系的技 术问题。 权利要求书2页 说明书12页 附图5页 CN 115510874 A 2022.12.23 CN 115510874 A 1.一种对话 话语的编码方法， 其特 征在于， 包括： 构建数据集， 所述数据集包括正样本和负样本， 所述正样本包括对话话语及其所属领 域， 所述负 样本包括对话 话语及其非所属领域； 基于对比学习算法并采用所述数据集对预训练语言模型进行参数调 整， 从而得到编码 器； 采用所述编码器对目标对话 话语进行编码。 2.根据权利要求1所述的方法， 其特征在于， 基于对比学习算法并采用所述数据集对预 训练语言模型进行参数调整， 从而得到编码器， 包括： 将对话话语输入到第一预训练语言模型中， 从而输出对话话语嵌入向量； 同时， 将所述 对话话语的所属领域和非所属领域输入到第二预训练语言模型中， 从而输出领域嵌入向 量； 分别对所述对话话语嵌入向量和所述领域嵌入向量进行池化处理和归一化处理， 从而 得到对话 话语特征向量和领域特 征向量； 基于对比学习算法和 交叉熵损失函数并采用所述对话话语特征向量和所述领域特征 向量， 对所述第一预训练语言模型和所述第二预训练语言模型进行优化， 从而得到编码器。 3.根据权利要求2所述的方法， 其特征在于， 所述第 一预训练语言模型与所述第 二预训 练语言模型的模型 结构相同且 共享参数。 4.根据权利要求2所述的方法， 其特征在于， 分别对所述对话话语嵌入向量和所述领域 嵌入向量进行池化处 理和归一 化处理， 从而得到对话 话语特征向量和领域特 征向量， 包括： 对所述对话话语嵌入向量中每个单词的嵌入向量累加后求平均值， 得到对话话语平均 嵌入向量； 对所述对话 话语平均嵌入向量进行归一 化， 得到对话 话语特征向量； 对所述领域嵌入向量中每个单词的嵌入向量累加后求平均值， 得到领域平均嵌入向 量； 对所述领域平均嵌入向量进行归一 化， 得到领域特 征向量。 5.根据权利要求2所述的方法， 其特征在于， 在优化所述预训练语言模型的过程中， 以 对话话语与所属领域在特征空间中距离缩小、 对话话语与非所属领域在特征空间中的距离 扩大作为目标进行优化。 6.根据权利要求5所述的方法， 其特 征在于， 所述交叉熵损失函数如下 所示： 其中， Sim( ·)表示余弦距离， zi表示对话 话语特征向量， 表示所属领域的领域特 征向 量， e‑ j表示非所属领域的领域特 征向量， τ表示 为温度系数， k表示领域的个数。 7.根据权利要求1所述的方法， 其特 征在于， 所述预训练语言模型选自以下一种： BERT， XLNet， RoBERTa， ALBERT。 8.一种对话 话语的编码装置， 其特 征在于， 包括： 构建模块， 用于构建数据集， 所述数据集包括正样本和负样本， 所述正样本包括对话话 语及其所属领域， 所述负 样本包括对话 话语及其非所属领域；权　利　要　求　书 1/2 页 2 CN 115510874 A 2训练模块， 用于基于对比学习算法并采用所述数据集对预训练语言模型进行参数调 整， 从而得到编码器； 编码模块， 用于采用所述编码器对目标对话 话语进行编码。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理器执行时， 所述一个或多个处理器实现 如权利要求1 ‑7中任一所述的方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器执 行时实现如权利要求1 ‑7中任一所述的方法。 11.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115510874 A 3