(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210208137.0 (22)申请日 2022.03.03 (71)申请人 上海元梦智能科技有限公司 地址 201399 上海市浦东 新区锦康路389弄 2号206室 申请人 元梦人文智能国际有限公司 (72)发明人 张旭　顾文元　张雪源　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 丁曼曼 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种候选 语句的排序方法、 装置及电子设备 (57)摘要 本发明提供一种候选语句的排序方法、 装置 及电子设备， 获取目标问题文本对应的候选语句 集合， 候选语句集合包括至少一个候选语句， 确 定候选语句的特征信息， 调用预设排序模型对候 选语句的特征信息进行处理， 得到目标问题文本 与候选语句的相关度， 从候选语句集合中筛选出 与目标问题文本的相关度最大的候选语句。 本发 明中的预设排序模型由依次顺序连接的预训练 模块、 卷积模块以及注意力模块组成， 且基于训 练样本训练得到。 本发明中的预设排序模型通过 大量的训练样本训练得到， 模型的准确度较高， 则通过该模 型输出的相关度， 筛选出与目标问题 文本的相关度最大的候选语句时的准确度也会 较高， 从而使得返回给用户的回答的准确度较 高， 提高用户体验。 权利要求书3页 说明书13页 附图6页 CN 114564570 A 2022.05.31 CN 114564570 A 1.一种候选语句的排序方法， 其特 征在于， 包括： 获取目标问题文本对应的候选语句集 合； 所述候选语句集 合包括至少一个候选语句； 确定所述 候选语句的特 征信息； 调用预设排序模型对所述候选语句的特征信 息进行处理， 得到所述目标问题文本与 所 述候选语句的相关度； 所述预设排序模 型由依次顺序连接的预训练模块、 卷积模块、 以及注 意力模块组成； 所述特征信息分别作为所述预训练模块以及所述卷积模块的输入； 所述预 设排序模型基于训练样本训练得到； 所述训练样本包括： 由问题样本以及所述问题样本对 应的候选样本组成的语句样本的特征信息、 以及所述候选样本与所述问题样本之 间的相关 度； 从所述候选语句集 合中筛选出与所述目标问题文本的相关度最大的候选语句。 2.根据权利要求1所述的候选语句的排序方法， 其特征在于， 确定所述候选语句的特征 信息， 包括： 将所述目标问题文本与所述候选语句组合得到初始待处理语句， 并基于所述待处理语 句的长度， 对所述待处 理语句进行长度调整操作， 得到目标待处 理语句； 对所述候选语句中的字进行位置编码， 得到所述 候选语句的位置编码结果； 对所述候选语句中的字进行字符编码， 得到所述 候选语句的字符编码结果； 组合所述目标待处理语句、 所述位置编码结果、 以及所述字符编码结果， 得到所述候选 语句的特 征信息。 3.根据权利要求1所述的候选语句的排序方法， 其特征在于， 所述预设排序模型的生成 过程包括： 获取问题样本、 所述问题样本对应的候选样本， 以及所述候选样本与所述问题样本之 间的目标相关度； 确定所述 候选样本的特 征信息； 使用所述候选样本与所述问题样本之间的目标相关度、 所述候选样本的特征信息， 对 预设排序模型进行训练， 直至满足预设训练停止条件时停止训练。 4.根据权利要求3所述的候选语句的排序方法， 其特 征在于， 获取问题样本， 包括： 获取初始样本集 合； 所述初始样本集 合包括多个初始样本； 基于所述初始样本的文本向量， 对所述多个初始样本进行聚类， 得到聚类结果； 在所述聚类结果包括的初始样本的数量大于预设阈值的情况下， 对所述 聚类结果中的 初始样本进行相似度分析， 得到初始样本之间的相似度； 将相似度 大于预设相似度阈值的初始样本对中的一个初始样本作为问题样本， 以及将 与其他任意初始样本的相似度均不大于预设相似度阈值的初始样本作为问题样本； 将包括的初始样本的数量 不大于预设阈值的聚类结果中的初始样本作为问题样本 。 5.根据权利要求3所述的候选语句的排序方法， 其特征在于， 使用所述候选样本与 所述 问题样本之间的目标相关度、 所述候选样本的特征信息， 对预设排序模型进行训练， 直至满 足预设训练停止条件时停止训练， 包括： 将所述问题样本对应的候选样本进行两 两排列组合， 得到组合结果； 筛选出包括的第一个候选样本对应的目标相关度大于第二个候选样本对应的目标相 关度的组合结果， 并作为目标组合结果；权　利　要　求　书 1/3 页 2 CN 114564570 A 2将所述目标组合结果中的两个候选样本对应的特征信 息分别输入到预设排序模型中， 得到两个所述 候选样本与所述问题样本的输出相关度； 计算所述输出相关度的差值， 并确定所述差值、 所述目标组合结果中的两个候选样本 与所述问题样本之间的目标相关度之差， 对应的损失函数； 基于所述损 失函数的数值， 对预设排序模型进行训练， 直至损 失函数值小于预设阈值 时停止。 6.根据权利要求5所述的候选语句的排序方法， 其特征在于， 确定所述差值、 所述目标 组合结果中的两个候选样本与所述问题样本之间的目标相关度之差， 对应的损失函数， 包 括： 基于所述目标组合结果中的两个候选样本与所述问题样本之间的目标相关度之差， 计 算所述目标组合结果的第一归一 化折损累计增益； 将所述目标组合结果中的候选样本进行位置调换， 并基于所述目标组合结果中的两个 候选样本与所述问题样本之 间的目标相关度之差， 计算位置调换后的目标 组合结果的第二 归一化折损累计增益； 根据所述第一归一化折损累计增益、 所述第二归一化折损累计增益、 以及所述差值， 计 算损失函数。 7.一种候选语句的排序装置， 其特 征在于， 包括： 集合获取模块， 用于获取目标问题文本对应的候选语句集合； 所述候选语句集合包括 至少一个候选语句； 信息确定模块， 用于确定所述 候选语句的特 征信息； 相关度确定模块， 用于调用预设排序模型对所述候选语句的特征信息进行处理， 得到 所述目标问题文本与所述候选语句的相关度； 所述预设排序模型由依次顺序连接的预训练 模块、 卷积模块、 以及注意力模块组成； 所述特征信息 分别作为所述预训练模块以及所述卷 积模块的输入； 所述预设排序模型基于训练样 本训练得到； 所述训练样本包括： 由问题样本 以及所述问题样本对应的候选样本组成的语句样本的特征信息、 以及所述候选样本与所述 问题样本之间的相关度； 筛选模块， 用于从所述候选语句集合中筛选出与 所述目标问题文本的相关度最大的候 选语句。 8.根据权利要求7 所述的候选语句的排序装置， 其特 征在于， 所述信息确定模块包括： 长度调整子模块， 用于将所述目标问题文本与所述候选语句组合得到初始待处理语 句， 并基于所述待处理语句的长度， 对 所述待处理语句进行长度调整操作， 得到目标待处理 语句； 位置编码子模块， 用于对所述候选语句中的字进行位置编码， 得到所述候选语句的位 置编码结果； 字符编码子模块， 用于对所述候选语句中的字进行字符编码， 得到所述候选语句的字 符编码结果； 组合子模块， 用于组合所述目标待处理语句、 所述位置编码结果、 以及所述字符编码结 果， 得到所述 候选语句的特 征信息。 9.根据权利要求7所述的候选语句的排序装置， 其特征在于， 还包括模型生成模块， 所权　利　要　求　书 2/3 页 3 CN 114564570 A 3