(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111680113.7 (22)申请日 2021.12.3 0 (71)申请人 深圳云天励飞技 术股份有限公司 地址 518000 广东省深圳市龙岗区园山 街 道龙岗大道8288号深圳大运软件小镇 17栋1楼 (72)发明人 袁瑾　肖嵘　王孝宇　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 林韵英 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型蒸馏方法、 装置及电子设备 (57)摘要 本发明实施例涉及一种模型蒸馏方法、 装置 及电子设备， 该方法包括： 对第i个未标记数据进 行第一泛化处理后， 分别输入到至少两个教师网 络模型中， 获取一组第一识别结果； 根据一组第 一识别结果， 获取第二识别结果； 当至少一个备 选标签中第一备选标签的预测概率大于或者等 于预设概率阈值时， 将第一备选标签 设定为未标 记数据的伪标签； 对第i个未标记数据进行第二 泛化处理后， 输入到学生网络模型中， 获取第三 识别结果； 根据第二识别结果、 第三识别结果， 以 及伪标签， 对学生网络模型进行优化， 直至学生 网络模型符合预设标准时结束。 通过该方式， 大 大降低人力标记的成本 。 权利要求书2页 说明书10页 附图4页 CN 114519416 A 2022.05.20 CN 114519416 A 1.一种模型蒸馏方法， 其特 征在于， 所述方法包括： 对第i个未标记数据进行第 一泛化处理后， 分别输入到至少两个教师网络模型中， 获取 一组第一识别结果； 根据一组所述第 一识别结果， 获取第 二识别结果， 其中第 二识别结果包括第 i个所述未 标记数据的至少一个备选标签， 以及每一个所述备选标签对应的预测概 率； 当至少一个所述备选标签中第 一备选标签的预测概率大于或者等于预设概率阈值 时， 将所述第一备选标签设定为所述未标记数据的伪标签， 其中， 所述第一备选标签为至少一 个所述备选标签中概 率最大的标签； 对第i个所述未标记数据进行第 二泛化处理后， 输入到学生网络模型中， 获取第 三识别 结果； 根据所述第二识别结果、 所述第 三识别结果， 以及所述伪标签， 对所述学生网络模型进 行优化， 直至所述学生网络模型符合预设标准时结束， 其中， i 为正整数。 2.根据权利要求1所述的方法， 其特征在于， 对第 i个未标记数据进行第 一泛化处理后， 分别输入到 至少两个教师网络模型中， 获取一组第一识别结果， 具体包括： 分别对第i个所述未 标记数据执 行不同类型的弱增广处 理； 将经过不同类型的弱增广处理后的未标记数据， 对应输入到不同的教师网络模型中， 获取一组所述第一识别结果。 3.根据权利要求1或2所述的方法， 其特征在于， 所述第 一识别结果包括与第 i个所述未 标记数据对应的至少一个备选标签， 以及每一个所述备选标签对应的第一 候选概率； 所述根据一组所述第一识别结果， 获取第二识别结果， 具体包括： 分别获取一组所述第一识别结果中相同备选标签对应的第一候选概率的第一概率平 均值； 所述第一识别结果中的至少一个备选标签， 以及每一个备选标签对应的第 一概率平均 值构成所述第二识别结果， 其中每一个备选标签对应的第一概率平均值， 即为所述第二识 别结果中与所述备选标签对应的预测概 率。 4.根据权利要求1所述的方法， 其特征在于， 所述对第i个所述未标记数据进行第二泛 化处理后， 输入到学生网络模型中， 获取第三识别结果， 具体包括： 分别对第i个所述未 标记数据进行强增广处 理； 将经过强增广处理后的未标记数据， 输入到所述学生网络模型中， 获取所述第三识别 结果。 5.根据权利要求1、 2或4任一项所述的方法， 其特征在于， 所述第三识别结果中包括： 第 i个所述未标记数据的至少一个备选标签中每一个备选标签对应的第二候选概率， 与第i个 所述未标记数据对应的目标 标签； 所述根据所述第 二识别结果、 所述第 三识别结果， 以及所述伪标签， 对所述学生网络模 型进行优化， 具体包括： 根据所述第 二识别结果中每一个备选标签对应的第 一概率平均值， 以及所述第 三识别 结果中每一个备选标签对应的第二 候选概率， 确定第一损失函数； 根据所述伪标签以及所述目标 标签， 确定第二损失函数； 根据所述第一损失函数和所述第二损失函数， 对所述学生网络模型进行优化。权　利　要　求　书 1/2 页 2 CN 114519416 A 26.一种多模型蒸馏装置， 其特 征在于， 所述装置包括： 处理模块， 用于对第i个未标记数据进行第一泛化处理后， 分别输入到至少两个教师网 络模型中， 获取一组第一识别结果； 根据一组所述第一识别结果， 获取第二识别结果， 其中 第二识别结果包括第i个所述未标记数据的至少一个备选标签， 以及每一个所述备选标签 对应的预测概 率； 设定模块， 用于当至少一个所述备选标签中第 一备选标签的预测概率大于或者等于预 设概率阈值时， 将所述第一备选标签设定为所述未标记数据的伪标签， 其中， 所述第一备选 标签为至少一个所述备选标签中概 率最大的标签； 所述处理模块， 还用于对第 i个所述未标记数据进行第 二泛化处理后， 输入到学生网络 模型中， 获取第三识别结果； 优化模块， 根据所述第二识别结果、 所述第三识别结果， 以及所述伪标签， 对所述学生 网络模型进行优化， 直至所述学生网络模型符合预设标准时结束， 其中， i 为正整数。 7.根据权利要求6所述的装置， 其特 征在于， 所述处 理模块， 具体用于： 分别对第i个所述未 标记数据执 行不同类型的弱增广处 理； 将经过不同类型的弱增广处理后的未标记数据， 对应输入到不同的教师网络模型中， 获取一组所述第一识别结果。 8.根据权利要求6或7所述的装置， 其特征在于， 所述第 一识别结果包括与第 i个所述未 标记数据对应的至少一个备选标签， 以及每一个所述备选标签对应的第一 候选概率； 所述处理模块， 具体用于： 分别获取一组所述第一识别结果中相同备选标签对应的第 一候选概率的第一 概率平均值； 所述第一识别结果中的至少一个备选标签， 以及每一个备选标签对应的第 一概率平均 值构成所述第二识别结果， 其中每一个备选标签对应的第一概率平均值， 即为所述第二识 别结果中与所述备选标签对应的预测概 率。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执行存储器上所存放的程序时， 实现权利要求1 ‑5任一项所述的模型蒸馏 方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑5任一项所述的模型蒸馏方法的步骤。权　利　要　求　书 2/2 页 3 CN 114519416 A 3