(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210151523.0 (22)申请日 2022.02.18 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 曹佳炯　丁菁汀　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 张敏 (51)Int.Cl. G06K 9/62(2022.01) G06N 5/02(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/94(2022.01)G06V 10/80(2022.01) (54)发明名称 模型训练方法、 装置、 设备及系统 (57)摘要 本说明书实施例提供了一种模 型训练方法、 装置、 设备及系统， 其中方法包括： 图像采集 设备 采集待识别用户的生物特征图像， 基于学生模型 对生物特征图像进行识别处理， 得到识别结果； 若根据识别结果确定生物特征图像满足预设的 样本累积条件， 则将生物特征图像确定为第一目 标样本并保存； 确定是否满足学生模 型的自蒸馏 训练条件， 若是， 则基于融合指导和一对多指导 的自蒸馏训练方式， 利用保存的第一目标样本对 学生模型进行自蒸馏训练处理， 得到更新后的学 生模型； 其中， 学生模型由服务端基于预先训练 的教师模型对待训练的学生网络进行蒸馏训练 所得。 权利要求书6页 说明书25页 附图8页 CN 114528937 A 2022.05.24 CN 114528937 A 1.一种模型训练方法， 应用于图像采集设备， 包括： 采集待识别用户的生物特 征图像； 基于学生模型对所述生物特征图像进行识别处理， 得到识别结果； 其中， 所述学生模型 由服务端基于预 先训练的教师模型对待训练的学生网络进行蒸馏训练所 得； 若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件， 则将所述生物 特征图像确定为第一目标样本并保存； 确定是否满足所述学生模型的自蒸馏训练条件， 若是， 则基于融合指导和一对多指导 的自蒸馏训练方式， 利用保存的所述第一 目标样本对所述学生模型进行自蒸馏训练处理， 得到更新后的学生模型。 2.根据权利要求1所述的方法， 所述基于学生模型对所述生物特征图像进行识别处理， 得到识别结果之后， 还 包括： 获取所述识别结果对应的所述生物特征图像的第一图像特征和所述待识别用户的基 准生物特征图像的第二图像特 征； 根据所述第一图像特 征和所述第二图像特 征确定所述识别结果的识别分数； 所述若根据所述识别结果确定所述 生物特征图像满足预设的样本累积条件， 包括： 若确定所述识别分数位于预设的第 一分数区间， 则确定所述生物特征图像满足预设的 样本累积条件。 3.根据权利要求2所述的方法， 所述根据所述第一图像特征和所述第二图像特征确定 所述识别结果的识别分数， 包括： 计算所述第一图像特 征和所述第二图像特 征之间的余弦相似度； 根据预设的识别分数计算方式， 基于所述 余弦相似度计算所述识别结果的识别分数。 4.根据权利要求1所述的方法， 所述基于 融合指导和一对多指导的自蒸馏训练方式， 利 用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理， 得到更新后的学生模 型， 包括： 将所述第一目标样本划分为至少一个训练集； 基于所述训练集和预设的第一损 失函数， 对所述学生模型进行自蒸馏训练处理， 得到 更新后的学生模型； 其中， 所述第 一损失函数包括： 多分类损失函数、 第 一自蒸馏损失函数和第 二自蒸馏损 失函数； 所述多分类损失函数， 用于对 所述学生模 型每一层输出的图像特征进 行分类处理； 所述第一自蒸馏损失函数， 用于采用对所述学生模型各层的分类结果进 行融合所得的融合 分类结果， 对所述学生模型的每一层的分类结果进 行指导； 所述第二自蒸馏损失函数， 用于 采用所述学生模型的最后一层输出的图像特征， 对所述学生模型的除所述最后一层之外的 每一层的学习过程进行指导。 5.根据权利要求2所述的方法， 所述根据所述第一图像特征和所述第二图像特征确定 所述识别结果的识别分数之后， 还 包括： 若确定所述识别分数小于预设分数、 且重新对所述待识别用户进行识别处理后所述识 别分数连续小于所述预设分数的次数到达预设次数， 则将最后一次进 行识别处理所采集的 生物特征图像确定为第二目标样本并保存； 若确定满足预设的标签获取条件， 则根据保存的所述第 二目标样本从所述服务端获取权　利　要　求　书 1/6 页 2 CN 114528937 A 2所述第二目标样本的标签数据； 其中， 所述标签数据由所述教师模型生成； 将所述标签数据与所述第二目标样本关联保存； 所述利用保存的所述第 一目标样本对所述学生模型进行自蒸馏训练处理， 得到更新后 的学生模型， 包括： 确定是否存在所述第二目标样本和所述标签数据； 若是， 则利用保存的所述第 一目标样本、 确定的所述第 一目标样本的标签数据、 所述第 二目标样本和所述第二目标样本的标签数据对 所述学生模型进行自蒸馏训练处理， 得到更 新后的学生模型。 6.根据权利要求1所述的方法， 所述得到更新后的学生模型之后， 还 包括： 基于所述更新后的学生模型对采集的待识别用户的生物特征图像进行识别处理， 得到 识别结果。 7.根据权利要求1所述的方法， 所述基于学生模型对采集的待识别用户的生物特征图 像进行识别处 理之前， 还 包括： 接收所述 服务端发送的所述学生模型； 将所述学生模型部署于所述图像采集设备中。 8.一种模型训练方法， 包括： 根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处 理， 得到学生模型； 所述训练样本集中的训练样本包括用户的生物特 征； 向图像采集设备发送所述学生模型， 以使所述图像采集设备基于所述学生模型对采集 的待识别用户的生物特征图像进 行识别处理， 在根据识别结果确定所述生物特征图像满足 预设的样本累积条件时， 将所述生物特征图像确定为第一 目标样本并保存； 以及在确定满 足所述学生模型 的自蒸馏训练条件时， 基于融合指导和一对多指导的自蒸馏训练方式， 利 用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理， 得到更新后的学生模 型。 9.根据权利要求8所述的方法， 所述根据获取的训练样本和预先训练的教师模型对待 训练的学生网络进行蒸馏训练 处理， 包括： 将所述训练样本集划分为多个训练子集； 分别将每个所述训练子集输入所述教师模型中进行特征提取处理， 得到所述训练子集 中每个训练样本对应的第三图像特 征； 基于所述训练子集、 所述第三图像特征和预设的第二损 失函数， 对所述待训练的学生 网络进行蒸馏训练 处理； 其中， 所述第 二损失函数包括： 多分类损失函数、 第 一蒸馏损失函数和第 二蒸馏损失函 数； 所述多分类损失函数， 用于对所述学生网络最后一层输出的第四图像特征进行分类处 理； 所述第一蒸馏损失函数， 用于表征所述教师模型输出 的所述第三图像特征与所述学生 网络输出 的所述第四图像特征之间的差异程度； 所述第二蒸馏损失函数， 用于采用所述教 师模型最后一层输出的所述第三图像特征， 对所述学生网络的每个中间层的学习过程进 行 指导。 10.根据权利要求8所述的方法， 所述方法还 包括： 接收所述图像采集设备发送的标签数据获取请求； 所述标签数据请求包括待标注标签权　利　要　求　书 2/6 页 3 CN 114528937 A 3