(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210878368.2 (22)申请日 2022.07.25 (71)申请人 中国人民解 放军战略支援 部队航天 工程大学 地址 101416 北京市怀柔区八一路1号 (72)发明人 夏鲁瑞　周浩楠　李森　陈雪旗　 卢妍　张占月　王鹏　 (74)专利代理 机构 长沙市护航专利代理事务所 (特殊普通 合伙) 43220 专利代理师 莫晓齐 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向小样本遥感影像场景分类的自监督自 蒸馏元学习方法 (57)摘要 本发明具体公开了一种面向小样本遥感影 像场景分类的自监督自蒸馏元学习方法， 所述方 法包括以下步骤： S1、 基于自监督学习并利用遥 感图像数据对 预设的深度神经网络进行训练， 获 取嵌入网络模型； S2、 将嵌入网络模型嵌入到元 学习框架中进行训练， 得到小样 本分类嵌入网络 模型； S3、 基于自蒸馏训练对小样本分类嵌入网 络模型进行迭代优化， 进而完成面向小样本遥感 影像分类的自监督自蒸馏元学习， 得到训练好的 SMSR模型。 本发明通过将自监督学习训练得到 具 有特征提取能力的嵌入网络模型应用到元学习 框架中进行小样本遥感影像分类训练， 再经过自 蒸馏精简得到训练好的SMSR模型， 进而实现面向 小样本遥感影像分类的自监 督自蒸馏元 学习。 权利要求书3页 说明书10页 附图2页 CN 115100543 A 2022.09.23 CN 115100543 A 1.面向小样本遥感影像场景分类的自监督自蒸馏元学习方法， 其特征在于， 所述方法 包括以下步骤： S1、 基于自监督学习并利用遥感图像数据对预设的深度神经网络进行训练， 进而得到 能够提取遥感影 像特征信息的嵌入网络模型； S2、 将步骤S1中所获取的嵌入网络模型嵌入到元学习的框架中进行训练， 并使元学习 训练后的嵌入网络模型能够利用已有 先验知识对新样本进 行分类， 进而得到小样本 分类嵌 入网络模型； S3、 基于自蒸馏训练对小样本分类嵌入网络模型进行迭代优化， 进而完成面向小样本 遥感影像分类的自监 督自蒸馏元 学习， 得到训练好的SMSR模型。 2.如权利要求1所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法， 其 特征在于， 所述 步骤S1具体实现方式为： S11、 将对比学习设置为自监督学习的辅助任务， 并选取NCE损失为对比学习的衡量指 标； S12、 利用不同数据增强方法对同一张遥感图像进行数据增强， 并计算在不同数据增强 方法下该遥感图像的数据增强处 理结果之间的NC E损失； S13、 利用随机梯度下降法不断减少在不同数据增强方法下该遥感图像的数据增强处 理结果之间的NCE损失， 直至该NCE损失的值趋于稳定， 进而得到能够提取遥感影像特征信 息的嵌入网络模型。 3.如权利要求2所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法， 其 特征在于， 所述步骤S12中不同数据增强方法包括缩放、 随机裁剪、 随机中心裁剪、 仿射变 换、 颜色抖动、 随机水平翻转和随机灰度变换。 4.如权利要求3所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法， 其 特征在于， 所述对比学习通过选取来源于预设的深度神经网络中不同卷积层所生成的特征 图进行对比。 5.如权利要求4所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法， 其 特征在于， 所述步骤S12中在不同数据增强方法下该遥感图像的数据增强处理结果之间的 NCE损失用公式表示 为： L(xm,xn)＝L(fa(xm),f5(xn))+L(fa(xm),fe(xn))+L(f5(xm),f5(xn))+L(fa(xn),f5(xm))+L (fa(xn),fe(xm))+L(fe(xm),fe(xn))                    (1) 式(1)中， xm和xn分别表示同一张遥感影像经过两种不同数据增强方法进行数据增强的 处理结果， fa表示预设的深度神经网络 提取的全局特征图， f5表示预设的深度神经网络中第 五层卷积提取的局部特征图， fe表示预设的深度神经中最后一层卷积提取的网络最后一层 输出特征图， 其中， 权　利　要　求　书 1/3 页 2 CN 115100543 A 2N表示所有遥感影像， d表示欧几里得 距离的平方。 6.如权利要求5所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法， 其 特征在于， 所述 步骤S2的具体实现方式为： S21、 将步骤S1所获取的嵌入网络模型嵌入到元学习的框架中并作为待训练嵌入网络 模型； S22、 将由所有遥感影像构成的数据集中的样本分为若干个种类， 从每一个种类 中均随 机抽取K个样本作为支持集， 其余样本作为查询集， 并将支持集中的样本输入待训练嵌入网 络模型中进行度量， 得到支持集中第i个样本的分类结果 wi， 用公式表示 为： 式(2)中， f()表示待训练嵌入网络模型， S表示支持集， yi表示支持集中的第i个样本， zi 表示样本yi的对应标签； S23、 将查询集中的样本输入待训练嵌入网络模型得到查询集中样本的分类结果， 然后 计算查询集中样本的分类结果与支持集中样本的分类结果之间的差异， 进而判断出查询集 中样本的种类； S24、 利用随机梯度下降法不断降低查询集中样本的分类结果与支持集中样本的分类 结果之间的差异， 以使元学习训练后的待训练嵌入网络模型获得利用已有 先验知识对新样 本进行分类的能力， 进 而得到小样本分类嵌入网络模型。 7.如权利要求6所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法， 其 特征在于， 所述查询集中样本的分类结果与支持集中样本的分类结果之间的差异用公式表 示为： Lmeta＝log∑nexp(‑D(f(q),wi))       (3) 式(3)中， q表示查询集中样本， wi表示待训练嵌入网络模型对支持集中第i个样本的分 类结果， 表示查询集中样本与支持集中样本的分类结果之间的差 异。 8.如权利要求7所述的面向小样本遥感影像场景分类的自监督自蒸馏元学习方法， 其权　利　要　求　书 2/3 页 3 CN 115100543 A 3