(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111679213.8 (22)申请日 2021.12.31 (71)申请人 浙江凤凰云睿科技有限公司 地址 311215 浙江省杭州市萧 山区宁围街 道保亿中心 2幢2602室 申请人 浙江省北 大信息技 术高等研究院 　 杭州未名信科 科技有限公司 (72)发明人 廖丹萍　王国龙　戚晓东　施钢杰　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 李小朋 (51)Int.Cl. G06K 9/62(2022.01) G06F 17/15(2006.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/74(2022.01) (54)发明名称 模型的生成方法、 装置、 电子设备及 介质 (57)摘要 本申请公开了一种模型的生成方法、 装置、 电子设备及介质。 通过应用本申请的技术方案， 可以通过调整教师模型与学生模型的拉普拉斯 矩阵， 确定二者输出的特征具有相似的流形结 构， 从而辅助学生模型可以从教师模 型处学习到 有区分性的特征， 获得更高的性能。 进而避免相 关技术中存在的， 压缩后的模型通常会存在由于 模型参数量少而导 致算法的准确性降低的问题。 权利要求书2页 说明书10页 附图2页 CN 114510999 A 2022.05.17 CN 114510999 A 1.一种模型的生成方法， 其特 征在于， 包括： 获取训练完毕的教师模型以及 初始学生模型； 获取利用所述教师模型输出的第 一特征， 以及获取利用所述初始学生模型输出的第 二 特征； 基于所述第一特 征以及所述第二特 征， 构建流形 结构损失函数； 通过总体损失函数对所述初始学生模型进行训练， 直至确定所述初始学生模型输出的 特征与所述教师模型输出 的特征具有相似的流形结构， 且所述总体损失函数收敛后， 得到 目标学生模型， 其中所述总体损失函数由蒸馏分类损失函数以及所述流形结构损失函数所 构成。 2.如权利要求1所述的方法， 其特 征在于， 所述获取训练完毕的教师模型， 包括： 构建图像分类训练数据集， 其中所述训练数据集包括至少一张样本图像数据以及样本 图像数据对应的分类标签。 利用所述训练数据集， 训练得到所述教师模型。 3.如权利要求1所述的方法， 其特征在于， 所述获取利用所述教师模型输出的第一特 征， 以及获取利用所述初始学生模型输出的第二特 征， 包括： 将同一批样本图像数据分别 输入至所述教师模型以及所述初始学生模型， 得到所述第 一特征以及所述第二特 征。 4.如权利要求1所述的方法， 其特征在于， 在所述得到所述第 一特征以及所述第 二特征 之后， 还包括： 利用所述第一特 征， 构建所述教师模型对应的第一拉普拉斯矩阵； 以及， 利用所述第二特 征， 构建所述学生模型对应的第二拉普拉斯矩阵； 基于所述第 一拉普拉斯矩阵与所述第 二拉普拉斯矩阵的矩阵差值， 构建所述流形结构 损失函数。 5.如权利要求 4所述的方法， 其特 征在于， 通过 下述公式构建所述 流形结构损失函数： 其中， Lteacher为所述教师模型对应的第一拉普拉斯矩阵， Lstudent为所述初始学生模型对 应的第二拉普拉斯矩阵。 6.如权利要求1所述的方法， 其特征在于， 在所述基于所述第一特征以及所述第二特 征， 构建流形 结构损失函数之后， 还 包括： 获取所述总体损 失函数， 其中所述总体损 失函数由所述流形结构损 失函数、 所述流形 结构损失函数的权 重以及所述蒸馏分类损失函数构成； 基于所述总体损 失函数， 计算所述初始学生模型的损 失， 并利用随机梯度下降算法更 新所述初始学生模型的模型参数。 7.如权利要求6所述的方法， 其特征在于， 所述基于所述总体损 失函数， 计算所述初始 学生模型的损失， 并利用随机梯度下降算法更新所述初始学生模型的模型参数， 还 包括： 输入不同批次的样本 图像数据， 对所述初始学生模型进行迭代优化， 直至满足预设训 练条件时， 停止优化模型， 得到训练完 毕的所述目标学生模型， 其中所述训练条件包括迭代 次数超过 预设上限值以及模型损失值小于预设阈值的其中一种。权　利　要　求　书 1/2 页 2 CN 114510999 A 28.一种模型的生成装置， 其特 征在于， 包括： 第一获取模块， 被 配置为获取训练完毕的教师模型以及 初始学生模型； 第二获取模块， 被配置为获取利用所述教师模型输出的第一特征， 以及获取利用所述 初始学生模型输出的第二特 征； 构建模块， 被 配置为基于所述第一特 征以及所述第二特 征， 构建流形 结构损失函数； 生成模块， 被配置为通过总体损 失函数对所述初始学生模型进行训练， 直至确定所述 初始学生模型输出的特征与所述教师模型输出的特征具有相似的流形结构， 且所述总体损 失函数收敛后， 得到目标学生模型， 其中所述总体损失函数 由蒸馏分类损失函数以及所述 流形结构损失函数 所构成。 9.一种电子设备， 其特 征在于， 包括： 存储器， 用于存 储可执行指令； 以及， 处理器， 用于与所述存储器执行所述可执行指令从而完成权利要求1 ‑7中任一所述模 型的生成方法的操作。 10.一种计算机可读存储介质， 用于存储计算机可读取的指令， 其特征在于， 所述指令 被执行时执行权利要求1 ‑7中任一所述模型的生成方法的操作。权　利　要　求　书 2/2 页 3 CN 114510999 A 3