(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211126235.6 (22)申请日 2022.09.16 (71)申请人 中国科学院计算 技术研究所 地址 100190 北京市海淀区中关村科 学院 南路6号 (72)发明人 谷洋　郭帅　文世杰　马媛　 陈益强　 (74)专利代理 机构 北京泛华伟业知识产权代理 有限公司 1 1280 专利代理师 王勇 (51)Int.Cl. G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于知识传输的图像分类模型训练方 法及分类方法 (57)摘要 本发明提供一种基于知识传输的图像分类 模型训练方法， 用于对预训练好的图像 分类模型 进行增量训练， 其中， 所述预训练好的图像分类 模型包括特征提取网络和分类器， 其特征在于， 所述方法包括采用新的图像数据集对预训练好 的图像分类模型按照如下方式进行增量训练： S1、 对当前新的 图像数据集进行增强处理； S2、 利 用上一次训练后的图像分类模型的参数初始化 所述图像分类模 型， 并采用增强后的当前新的 图 像数据集将其训练至收敛， 其中在训练过程中采 用交叉熵损失、 蒸馏损失以及知识传输损失更新 模型参数。 本发明能够实现模型特征空间的迁 移， 缓解增量训练过程中的灾难性遗 忘问题。 权利要求书2页 说明书10页 附图3页 CN 115471700 A 2022.12.13 CN 115471700 A 1.一种基于知识传输的图像分类模型训练方法， 用于对预训练好的图像分类模型进行 增量训练， 其中， 所述预训练好的图像分类模型包括特征提取网络和分类器， 其特征在于， 所述方法包括采用新的图像数据集对预训练好的图像分类模型按照如下方式进行增 量训 练： S1、 对当前新的图像数据集进行增强处 理； S2、 利用上一次训练后的图像分类模型的参数初始化所述图像分类模型， 并采用增强 后的当前新的图像数据集将其训练至 收敛， 其中在训练过程中采用交叉熵损失、 蒸馏损失 以及知识传输损失更新模型参数。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S1包括： 对当前新的图像数据集进行自监督增强处理， 或对当前新的图像数据集进行类别增强 处理， 或先对当前新的图像数据集进行自监 督增强处 理后再进行类别增强处 理。 3.根据权利要求2所述的方法， 其特 征在于： 所述自监督增强处理是按照90 °、 180°、 270°这几个旋转角度对当前新的图像数据 集中 的样本进行翻转； 所述类别增强处理是指从当前新的图像数据集中随机采样两个不同类别的样本并按 照如下方式进行类扩充生成一个新的样本加入当前新的图像数据集： 其中， 表示基于样本xα和xβ生成的新的样本， xα表示数据集中类别α 中的样本， xβ表 示数据集中类别β 中的样本， μ表示插值系数。 4.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S2包括： S21、 采用最优知识传输方法将上一次训练后的图像分类模型的特征提取网络参数传 递给所述图像分类模型的特 征提取网络以获得当前次训练的初始图像分类模型； S22、 采用当前新的图像数据集训练当前次训练的初始图像分类模型至收敛， 并采用交 叉熵损失、 蒸馏损失以及 知识传输损失更新当前次训练的初始图像分类模型参数。 5.根据权利要求4所述的方法， 其特征在于， 在步骤S22中， 根据如下公式计算总损失函 数： Ltotal(x， y)＝LCE(x， y)+λLKD(x)+γLKT(x) 其中， Ltotal(·)表示总损失函数， LCE(·)表示交叉熵损失函数， LKD(·)表示知识蒸馏 损失函数， LKT(·)表示知识传输损失函数， λ和γ表示超参数， x表示样本， y表示样本x的标 签。 6.根据权利要求5所述的方法， 其特 征在于， 采用如下公式计算知识蒸馏损失： 其中， Yb‑1表示增强处理后的上一次训练的图像数据集的样本数， x表示样本， Sk表示 softmax函数， 表示上一 次训练后的图像分类模型的分类器， 表示上一 次训练 后的图像分类模型的特征提取网络， 表示当前次训练的 图像分类模型的分类器， φnew权　利　要　求　书 1/2 页 2 CN 115471700 A 2(·)表示当前次训练的图像分类模型的特 征提取网络 。 7.根据权利要求5所述的方法， 其特 征在于， 采用如下公式计算知识传输损失： 其中， Yb表示增强处理后的当前次训练的新的图像数据集的样本数， x表示样本， Sk表示 softmax函数， 表示上一次训练后的图像分类模型的分类器， 表示上一次训练 后的图像分类模型的特征提取网络， 表示当前次训练的初始图像分类模型的分类器， φ′new(·)表示当前次训练的初始图像分类模型的特 征提取网络 。 8.一种图像分类方法， 其特 征在于， 所述方法包括： T1、 获取待处 理图像； T2、 采用如权利要求1 ‑7任一所述方法训练的图像分类模型对待处理图像进行处理获 得分类结果。 9.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 所述计算机程序 可 被处理器执行以实现权利要求1 ‑7、 8任一所述方法的步骤。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 用于存储一个或多个程序， 当所述一个或多个程序被所述一个或多个处理 器执行时， 使得 所述电子设备实现如权利要求1 ‑7、 8中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115471700 A 3