(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111674716.6 (22)申请日 2021.12.31 (71)申请人 北京三快在线科技有限公司 地址 100080 北京市海淀区北四环西路9号 2106-030 (72)发明人 李想　黄培浩　肖垚　陈达遥　 陈胜　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 任亚娟 (51)Int.Cl. G06F 16/9538(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 排序方法及装置， 排序模型训练方法及装 置， 电子设备 (57)摘要 本申请公开了一种排序方法， 属于计算机技 术领域， 有助于改善粗排序效果。 本方法包括： 获 取待粗排序的候选召回对象； 通过预先训练的粗 排序模型， 获取各候选召回对象的粗排序指标 值， 其中， 粗排序模型通过预先训练的精排序模 型对候选粗排序模型进行知识蒸馏， 迭代优化所 述候选粗排序模型的架构参数和网络参数后得 到的， 候选粗排序模型的网络架构通过在预先定 义的网络架构搜索空间中进行搜索得到； 根据粗 排序指标值对候选召回对象进行排序筛选， 得到 输出至精 排序模型的候选召回对象。 本方法通过 动态搜索粗排序模型的网络架构， 并以精排序模 型的输出做训练指导， 使 得训练得到的粗排序模 型输出的排序结果与精排序模型的输出更匹配， 更加符合展示效果。 权利要求书2页 说明书14页 附图4页 CN 114443986 A 2022.05.06 CN 114443986 A 1.一种排序方法， 其特 征在于， 包括： 获取待粗 排序的候选召回对象； 通过预先训练的粗排序模型， 获取各所述候选召回对象的粗排序指标值， 其中， 所述粗 排序模型是通过以下方法训练的： 通过预先训练的精排序模型对候选粗排序模型进行知识 蒸馏， 迭代优化所述候选粗排序模型的架构参数和网络参数， 以得到所述粗排序模型， 其 中， 所述候选粗排序模型的网络架构通过在预先定义的网络架构搜索空间中进行搜索得 到； 根据所述粗排序指标值对所述候选召回对象进行排序筛选， 得到输出至所述精排序模 型进行精排序的所述 候选召回对象。 2.根据权利要求1所述的方法， 其特征在于， 所述网络架构搜索空间包括多层网络单 元， 每层网络单元 的数量大于2， 且每层中的各网络单元对应的隐藏层数量各不相同； 所述 通过预先训练的精排序模型对候选粗排序模型进 行知识蒸馏， 迭代优化所述候选粗排序模 型的架构参数和网络参数， 以得到所述 粗排序模型的步骤， 包括： 在预先定义的网络架构搜索空间中搜索粗排序模型的各候选网络架构， 分别构 成候选 粗排序模型， 所述 候选网络架构由从每层所述网络单 元中最多选择1个网络单 元构成； 对于每个所述候选粗排序模型， 以预先训练的精排序模型作为教师网络， 以所述候选 粗排序模型作为学生网络， 基于预设训练样本， 迭代优化所述候选粗排序模型 的架构参数 和网络参数， 以训练所述候选粗排序模 型； 其中， 所述架构参数用于指示相应所述候选粗排 序模型的每层网络单 元中各所述网络单 元的选择概 率； 选择所述网络架构搜索空间的每层所述网络单元中所述选择概率最大的所述网络单 元， 构成粗 排序模型。 3.根据权利要求2所述的方法， 其特征在于， 所述以预先训练的精排序模型作为教师网 络， 以所述候选粗排序模型作为学生网络， 基于预设训练样本， 迭代优化所述候选粗排序模 型的架构参数和网络参数， 以训练所述 候选粗排序模型的步骤， 包括： 通过所述候选粗排序模型对预设的训练样本进行编码映射， 获取所述候选粗排序模型 对应所述训练样本的输出和粗 排序损失值； 获取所述精排序模型对所述训练样本进行编码映射得到的对应所述训练样本的输出， 并根据所述候选粗排序模型对应所述训练样本的输出， 以及， 所述精排序模型对应所述训 练样本的输出之间的相似度距离， 计算精排蒸馏损失值； 通过融合所述 粗排序损失值和所述精排蒸馏损失值， 获取融合损失值； 以所述融合损 失值最小为目标， 优化所述候选粗排序模型的架构参数和网络参数， 并 对所述候选粗排序模型进行迭代训练， 直至 达到迭代训练终止条件。 4.根据权利要求3所述的方法， 其特征在于， 所述通过融合所述粗排序损失值和所述精 排蒸馏损失值， 获取融合损失值的步骤， 包括： 通过对所述 粗排序损失值和所述精排蒸馏损失值进行加权求和， 获取融合损失值。 5.根据权利要求3所述的方法， 其特征在于， 所述通过融合所述粗排序损失值和所述精 排蒸馏损失值， 获取融合损失值的步骤， 包括： 通过对所述粗排序损失值、 所述精排蒸馏损失值， 以及， 所述候选粗排序模型的网络延 迟损失值进 行加权融合， 获取融合损失值； 其中， 所述网络延迟损失值通过对每一层所述网权　利　要　求　书 1/2 页 2 CN 114443986 A 2络单元的延时以相应网络单 元的选择概 率作为权值， 进行递归加权求和运 算得到。 6.一种排序模型训练方法， 其特 征在于， 包括： 在预先定义的网络架构搜索空间中搜索粗排序模型的各候选网络架构， 分别构 成候选 粗排序模型， 其中， 所述网络架构 搜索空间包括多层网络单元， 每层网络单元的数量大于2， 且每层中的各网络单元对应的隐藏层数量各不相同， 所述候选网络架构由从每层所述网络 单元中最多选择1个网络单 元构成； 对于每个所述候选粗排序模型， 以预先训练的精排序模型作为教师网络， 以所述候选 粗排序模型作为学生网络， 基于预设训练样本， 迭代优化所述候选粗排序模型 的架构参数 和网络参数， 以训练所述候选粗排序模 型； 其中， 所述架构参数用于指示相应所述候选粗排 序模型的每层网络单 元中各所述网络单 元的选择概 率； 选择所述网络架构搜索空间的每层所述网络单元中所述选择概率最大的所述网络单 元， 构成粗 排序模型。 7.一种排序装置， 其特 征在于， 包括： 候选召回对象获取模块， 用于获取待粗 排序的候选召回对象； 粗排序指标值获取模块， 用于通过预先训练的粗排序模型， 获取各所述候选召回对象 的粗排序指标值， 其中， 所述粗排序模 型是通过以下方法训练的： 通过预先训练的精排序模 型对候选粗排序模型进行知识蒸馏， 迭代优化所述候选粗排序模型的架构参数和网络参 数， 以得到所述粗排序模型， 其中， 所述候选粗排序模型的网络架构通过在预先定义的网络 架构搜索空间中进行搜索得到； 粗排序输出模块， 用于根据所述粗排序指标值对所述候选召回对象进行排序筛选， 得 到输出至所述精排序模型进行精排序的所述 候选召回对象。 8.一种排序模型训练装置， 其特 征在于， 包括： 候选粗排序模型确定模块， 用于在预先定义的网络架构搜索空间中搜索粗排序模型的 各候选网络架构， 分别构成候选粗排序模型， 其中， 所述网络架构 搜索空间包括多层网络单 元， 每层网络单元 的数量大于2， 且每层中的各网络单元对应的隐藏层数量各不相同， 所述 候选网络架构由从每层所述网络单 元中最多选择1个网络单 元构成； 候选粗排序模型训练模块， 用于对于每个所述候选粗排序模型， 以预先训练的精排序 模型作为教师网络， 以所述候选粗排序模型作为学生网络， 基于预设训练样 本， 迭代优化所 述候选粗排序模型的架构参数和网络参数， 以训练所述候选粗排序模 型； 其中， 所述架构参 数用于指示相应所述 候选粗排序模型的每层网络单 元中各所述网络单 元的选择概 率； 粗排序模型生成模块， 用于选择所述网络架构搜索空间的每层所述网络单元中所述选 择概率最大的所述网络单 元， 构成粗 排序模型。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在处理器上运行的 程序代码， 其特征在于， 所述处理器执行所述程序代码时实现权利要求1至5任意一项所述 的排序方法或权利要求6所述的排序模型训练方法。 10.一种计算机可读存储介质， 其上存储有程序代码， 其特征在于， 该程序代码被处理 器执行时实现权利要求 1至5任意一项 所述的排序方法的步骤或权利要求6所述的排序模型 训练方法的步骤。权　利　要　求　书 2/2 页 3 CN 114443986 A 3