(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211141445.2 (22)申请日 2022.09.20 (71)申请人 中国矿业大 学 地址 221116 江苏省徐州市大 学路1号中国 矿业大学 (72)发明人 王浩宇　程玉虎　王雪松　刘晓敏　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 任志艳 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/10(2022.01) (54)发明名称 一种基于图元迁移网络的小样本高光谱图 像分类方法 (57)摘要 本发明公开了一种基于图元迁移网络的小 样本高光谱图像 分类方法， 将同为归纳学习的 图 聚合和采样策略(GraphSAGE)和元学习策略融入 统一框架以提取两域的元知识， 从大量的小样本 元任务中归纳出具有泛化性的图聚合函数。 基于 距离约束的空间注意力被提出以引导特征传播， 缓解节点聚合时异类节点信息干扰的问题。 同时 基于邻域感受野的光谱注意力机制被提出对波 段重要性进行建模， 使网络更关注与具有辨识性 特征的波段。 另外， 提出了基于空间信息的数据 增强策略， 通过空间信息重置扩充目标域样本。 进一步， 为缓解场景下的领域偏移问题， 使用条 件域对抗策略进行领域迁移， 以实现该场景下元 知识的有效迁移。 权利要求书2页 说明书7页 附图1页 CN 115375951 A 2022.11.22 CN 115375951 A 1.一种基于图元迁移网络的小样本高光谱图像分类方法， 其特 征在于， 包括以下步骤： 步骤S1、 对源域和目标域数据进行维度统一， 然后分别从两域样本集合中抽取N个样 本， 分别构建源域和目标域的元训练集； 步骤S2、 扩充目标域元训练集的样本空间； 步骤S3、 将两域的元训练集输入由空 ‑谱注意力模块和图聚合和采样策略组成的特征 嵌入器； 然后， 利用光谱注意力 机制动态地学习波段重要性权重， 同时利用空 ‑谱信息赋予邻域 节点重要性权重； 最后， 利用Gr aghSAGE聚合数据的邻域信息， 得到空 ‑谱嵌入特征， 计算两 域的支持集和查询集在空 ‑谱嵌入空间的距离， 并执 行两域的小样本学习； 步骤S4、 通过条件域判别器和特征提取器的对抗过程实现类对齐， 以此来缓解两个域 之间的域偏移， 使提取的空 ‑谱嵌入特 征具有领域 不变性。 2.根据权利要求1所述一种基于图元迁移网络的小样本高光谱图像分类方法， 其特征 在于， 包括以下步骤： 步骤S2中具体为： 通过数据增强方法SPIA扩充目标域元训练集的样 本 空间； SPIA首先选择一个节点， 然后将所选节点的邻域信息重置为其某一个一阶邻域节点 的对应信息； SPIA可以在中心节点及其任意阶的邻域进 行， 通过将所选的k阶邻域节 点进行 空间信息 重置， 实现多阶邻域的空间信息增强。 3.根据权利要求1所述一种基于图元迁移网络的小样本高光谱图像分类方法， 其特征 在于， 步骤S3中具体包括： 步骤S3.1， 将源域元训练、 以及扩充后的目标域元训练输入到空 ‑谱注意力模块， 基于 图聚合和采样策略训练一组聚合函数， 学习从节点的局部邻域聚合特征信息， 结合光谱和 空间信息对样本进行充分表征； 定义图为G＝(V, ε ),输入特 征为xv, K为深度参数， k∈{1,. ..,K}； 其中， 当k＝0时， Nv表示v的近邻节点的集合， φ( ·)为聚合函数； 此处选择 Mean函数； 然后将经聚合的局部邻域特 征信息 与其本身特 征 相连后， 将其进行非线性映射： 其中， CONVAT为相连操作， σ( ·)为非线性激活函数； 最后， 得到节点的特征嵌入的集 合: 步骤S3.2， 利用光谱注意力机制动态地学习波段重要性权 重 首先， 利用目标节点及其邻域节点构成空 ‑谱图； 然后， 将空 ‑谱图在空间上进行特征压缩， 对每张空 ‑谱图的特征维度进行均值池化， 使 其具有K阶邻域区域的感受野； 最后， 将压缩特征输入全连接层,利用神经网络强大的拟合 能力， 对每 个光谱波段的重要性进行建模； 步骤S3.3、 通过计算节点间相似度对邻域节点赋予重要性权重， 以选择关键节点并引 导特征传播； 节点间相似度可由下式计算：权　利　要　求　书 1/2 页 2 CN 115375951 A 2其中， xv为中心节点特征， 为k阶邻域的节点特 征； 步骤S3.4、 首先利用聚合函数得到两域的空 ‑谱聚合特征， 然后度量支持集和查询集的 欧式距离， 实现两域的小样本学习； 从 元 训练 集中随 机 选取 C个类 ， 每个 类中随 机 选取 M个 样本 构成 支持 集 选取E个样本构成查询集 构成一个小样本学习任务； 在训练阶段， 使用基于距离度量的Softmax 得到的类别概率计算损失进 行网络参数的更新, 查询集样本 属于c类别的概 率得分为： 其中， d(·)为距离度量函数， cc为第c类的支持集样本， fψ(·)为特征提取网络， ψ为网 络参数， 为查询集样本， 为 的标签； 小样本学习损失为： 4.根据权利要求3所述的一种基于图元迁移网络的小样本高光谱图像分类方法， 其特 征在于， 所述 步骤S4中提取 具有领域 不变性的空 ‑谱嵌入特 征具体步骤 包括： 通过条件域判别器和特征提取器的对抗过程对两域进行分布匹配； 条件域判别器的优 化目标为： 其中， 分别为源域样本和目标域样本； Ps(x)与Pt(x)为源域和目标域分布， D为条 件域判别器， 与 为源域和目标域的嵌入特征， 与 为两域的类别预测向量； H＝(F, G)， 表示F和G的联合变量,T为映射操作， 可表示 为： 其中， 为多线性映射， 可以充分捕捉复杂背后的多模态结构。权　利　要　求　书 2/2 页 3 CN 115375951 A 3