(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211132040.2 (22)申请日 2022.09.16 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 喻文健　杨定澄　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 模型蒸馏方法、 装置、 电子设备和可读存储 介质 (57)摘要 本公开涉及一种模型蒸馏方法、 装置、 电子 设备和可读存储介质， 确定至少一个样本图像， 以及包括的第一处理层与包括的第二处理层数 量相同的第一分类模型和第二分类模 型。 并确定 第一分类模 型和第二分类模型的对抗优化函数。 对抗优化函数的输入参数包括第一分类模型和 第二分类模 型分别对应的第一分类结果、 第二分 类结果、 以及其中每个处理层对应的第一特征向 量和第二特征向量。 根据至少一个样本图像对第 二分类模型进行参数调节， 直到对抗优化函数满 足收敛条件。 本公开通过预先训练好的第一分类 模型训练第二分类模型， 并通过设置对抗优化函 数在训练过程中引入对抗样本的防御特性进行 辅助训练， 提高了模型蒸馏得到的第二分类模型 应对对抗样本的鲁棒 性。 权利要求书2页 说明书14页 附图4页 CN 115393651 A 2022.11.25 CN 115393651 A 1.一种模型蒸馏方法， 其特 征在于， 所述方法包括： 确定至少一个样本图像； 确定第一分类模型和第 二分类模型， 所述第 一分类模型包括的第 一处理层与 所述第二 分类模型包括的第二处 理层数量相同； 确定所述第 一分类模型和所述第 二分类模型的对抗优化函数， 所述对抗优化函数的输 入参数包括将任意图像输入第一分类模型和 第二分类模型得到的第一分类结果、 第二分类 结果、 以及每个所述第一处理层输出的第一特征向量和每个所述第二处理层输出的第二特 征向量； 根据所述至少一个样本图像对所述第 二分类模型进行至少一 次参数调节， 直到所述对 抗优化函数满足收敛 条件。 2.根据权利要求1所述的方法， 其特 征在于， 所述 参数调节过程包括： 分别将所述至少一个样本 图像输入所述第一分类模型， 输出对应的第一分类结果， 以 及每个所述第一处 理层输出的第一特 征向量； 对于每个所述样本 图像， 确定将所述样本 图像对应的第一分类结果和第一特征向量， 以及所述第二分类模型的模型参数固定的情况下， 不同的对抗图像输入第二分类模型得到 的第二分类结果， 以及每个所述第二处理层输出的第二特征向量作为所述对抗优化函数的 输入时， 最小的对抗优化函数值最大对应的对抗图像作为所述样本图像对应的目标对抗图 像； 确定分别将每个所述样本图像对应的第 一分类结果和第 一特征向量， 以及所述样本图 像对应目标对抗图像输入所述第二分类模型得到的第二分类结果， 以及每个所述第二处理 层输出的第二特 征向量作为输入的对抗优化 函数的加权和； 调节所述第二分类模型的模型参数使所述加权和达 到最小值。 3.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 确定噪声扰动阈值； 将所述对抗图像与对应样本图像之间的差异不大于所述噪声扰动阈值作为确定所述 对抗图像的约束条件。 4.根据权利要求3所述的方法， 其特征在于， 所述差异根据 所述对抗图像与对应样本图 像之间的范 数确定。 5.根据权利要求1 ‑4中任意一项所述的方法， 其特征在于， 所述确定所述第 一分类模型 和所述第二分类模型的对抗优化 函数， 包括： 确定用于表征 所述第一分类结果和所述第二分类结果相似性的第一优化项； 确定所述第 一分类模型中每个所述第 一处理层， 与所述第 二分类模型中对应于每个所 述第一处 理层的所述第二处 理层之间的转换函数； 根据对应的转换函数将每 个所述第二特 征向量转换为第三特 征向量； 确定用于表征每 个所述第三特 征向量与对应的第一特 征向量的均方差的第二优化项； 确定所述第一优化项和所述第二优化项的加权和为对抗优化 函数。 6.根据权利要求5所述的方法， 其特征在于， 所述确定所述第 一分类模型中每个所述第 一处理层， 与所述第二分类模型中对应于每个所述第一处理层的所述第二处理层之 间的转 换函数， 包括：权　利　要　求　书 1/2 页 2 CN 115393651 A 2确定所述第一分类模型中位置与所述第二分类模型中位置相同的第一处理层和第二 处理层为处 理层对； 在所述至少一个样本图像中获取目标样本图像； 将所述目标样本图像分别输入所述第 一分类模型和所述第 二分类模型， 分别得到每对 所述第一处 理层和对应的第二处 理层输出的第一特 征向量和第二特 征向量； 根据每个所述处 理层对的第一特 征向量和第二特 征向量确定对应的转换函数。 7.根据权利要求6所述的方法， 其特征在于， 所述根据每个所述处理层对的第 一特征向 量和第二特 征向量确定对应的转换函数， 包括： 确定每个所述处 理层对的第一特 征向量和第二特 征向量之间的关联矩阵； 确定所述处 理层对的转换函数为所述关联矩阵与所述第二特 征向量的乘积。 8.一种模型蒸馏装置， 其特 征在于， 所述装置包括： 图像确定模块， 用于确定 至少一个样本图像； 模型确定模块， 用于确定第一分类模型和第二分类模型， 所述第一分类模型包括的第 一处理层与所述第二分类模型包括的第二处 理层数量相同； 函数确定模块， 用于确定所述第一分类模型和所述第二分类模型的对抗优化函数， 所 述对抗优化函数的输入参数包括将任意图像输入第一分类模型和第二分类模型得到的第 一分类结果、 第二分类结果、 以及每个所述第一处理层输出 的第一特征向量和每个所述第 二处理层输出的第二特 征向量； 模型蒸馏模块， 用于根据所述至少一个样本图像对所述第 二分类模型进行至少一 次参 数调节， 直到所述对抗优化 函数满足收敛 条件。 9.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为在执行所述存储器存储的指令时， 实现权利要求1至7中任 意一项所述的方法。 10.一种非易失性计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所 述计算机程序指令被处 理器执行时实现权利要求1至7中任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115393651 A 3