(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210350836.9 (22)申请日 2022.04.02 (71)申请人 武汉科技大 学 地址 430081 湖北省武汉市青山区和平大 道947号 (72)发明人 边小勇　刘卓　邓鹤　杨博　 盛玉霞　李波　喻国荣　张晓龙　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 罗飞 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/46(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多成分GAN重建的遥感图像场景分类方法 (57)摘要 本发明提供了多成分GAN重建的遥感图像场 景分类方法， 首先将场景数据集按比例随机划分 成训练集和测试集； 其次对数据集进行预处理， 这些经过预处理之后的遥感场景图像数据即为 真图； 接着以随机初始化的方式获取多个潜在编 码输入生成器网络以获得伪图； 然后将真图、 伪 图联合输入到一个特征提取及联合定位模块， 参 与联合定位获得多个信息性部件； 这些信息性部 件用作多个潜在编码的更新接着利用全图特征 和部件特征分别参与图像级分类和部件级分类， 获得最优的分类模型； 最后将测试集输入到最优 定位网络和最优分类模型， 获得最终的预测结 果。 本发明可以提高多个部件定位准确性和分类 效果。 权利要求书3页 说明书12页 附图3页 CN 114764880 A 2022.07.19 CN 114764880 A 1.多成分 GAN重建的遥感图像场景分类方法， 其特 征在于， 包括： S1： 将场景 数据集按预设比例划分为训练集和 测试集； S2： 对训练集中的图像进行 预处理， 预处理后的图像为真图； S3： 构建多成分GAN重建的遥感图像场景分类网络模型， 模型包括多编码生成器网络、 特征提取网络、 联合定位模块和联合分类模块， 其中， 多编码生成器网络用于生成包含细节 的伪图， 特征提取网络用于根据输入的真图提取真图特征、 根据输入的伪图提取伪图特征， 提取的真图特征和伪图特征作为全局特征， 联合定位模块用于根据提取的真图特征得到真 图的信息性部件、 根据提取 的伪图特征得到伪图的信息性部件， 真图的信息性部件和伪图 的信息性部件作为部件特征， 联合分类模块用于根据全局特征得到全图分类结果， 根据真 图的信息性部件和伪图的信息性部件的组合得到部件级分类结果， 再根据全图分类结果与 部件级分类结果得到场景分类结果； S4： 将训练集中预处理后的图像输入多成分GAN重建的遥感图像场景分类网络模型， 进 行训练， 以部件级分类损失以及部件级相似性度量损失的组合方式对网络进行微调， 得到 最优分类模型， 作为训练好的多成分 GAN重建的遥感图像场景分类网络模型； S5： 将测试集中的图像进行预处理后输入训练好的多成分GAN重建的遥感图像场景分 类网络模型， 进行场景分类。 2.如权利要求1所述的多成分GAN重建的遥感图像场景分类方法， 其特征在于， 步骤S2 包括： S2.1： 将数据集中的图像保存在对应的场景类别的文件夹中； S2.2： 将数据集中包 含的图像统一使用双线性插值的方式重新设置图像分辨 率。 3.如权利要求1所述的遥感图像场景分类方法， 其特征在于， 多编码生成器网络的生成 过程包括： 设置生成器网络的学习参数， 初始化网络 权重， 偏差参数； 随机初始化多潜在编码zn以及通道重要性权 重αn； 将多潜在编码zn以及通道重要性权重αn输入生成器网络， 以像素级重构误差损失优化 网络以及通道重要性权重αn， 获得最优生成器模型， 作为多编码生成器网络， 其中， 像素级 重构误差损失的计算方式如下： 在式(1)中： Xreal表示经过预处理之后的数据集中的真图， Xfake表示生成器生成的伪图。 4.如权利要求1所述的遥感图像场景分类方法， 其特征在于， 特征提取网络的生成过程 包括： 设置特征提取网络学习参数； 加载预训练模型， 初始化网络 权重， 偏差参数； 将进行数据预处理后的数据集中的图像输入特征提取网络， 以交叉熵损 失进行微调， 获得最优特 征提取模型， 交叉熵损失 公式如下： 权　利　要　求　书 1/3 页 2 CN 114764880 A 2在式(2)中： C表示样本类别数； x表示软最大化层的输出向量， 形如[1,C]； label表示样 本对应的实际标签； x[label]表示样本的实际标签对应的预测概率值； x[i]表示样本属于 第i类的预测概 率值。 5.如权利要求1所述的遥感图像场景分类方法， 其特征在于， 联合定位模块根据提取的 真图特征得到真图的信息性部件， 包括： 将特征提取网络的输出真图特征Freal输入联合定位模块， 利用预测概率回传与特征图 加权求和得到类激活 图CAM， 将该类激活 图CAM分别进行最大池化和最小池化， 得到若干波 峰以及波谷坐标点： 利用K‑means聚类算法将所有得到的波峰与波谷坐标点分别聚类成k组和m组， 波峰聚 类中心是携带前景信息以及上下文信息的语义位置， 波谷聚类中心是有背 景相关信息的语 义位置， 波峰信息进一 步转化为真图的信息性部件Rreal。 6.如权利要求5所述的遥感图像场景分类方法， 其特 征在于， 所述方法还 包括： 将特征提取网络根据真图特征提取定位到的波峰以及波谷点的特征作为多个潜在编 码的更新， 并输入多编码生成器网络获取 更加细节的伪图。 7.如权利要求6所述的遥感图像场景分类方法， 其特征在于， 联合定位模块根据提取的 伪图特征得到伪图的信息性部件， 包括： 将特征提取网络的输出伪图特征Ffake输入联合定位模块， 利用预测概率回传与特征图 加权求和得到类激活 图CAM， 将该类激活 图CAM分别进行最大池化和最小池化， 得到若干波 峰以及波谷的坐标点； 利用K‑means聚类算法将所有得到的波峰与波谷坐标点分别聚类成k组和m组， 波峰聚 类中心携带前景信息以及上下文信息的语义位置， 波谷聚类中心具有背 景相关信息的语义 位置， 波峰信息进一 步转化为伪图的信息性部件Rfake。 8.如权利要求1所述的遥感图像场景分类方法， 其特征在于， 真图的信 息性部件与伪图 的信息性部件的组合形式包括： RrUf＝Rreal∪Rfake                 (3) RrIf＝Rreal∩Rfake                    (4) RrUSf＝Rreal∪(Rfake‑Rreal)                (5) 其中， Rreal表示真图的信息性部件， Rfake表示伪图的信息性部件， RrUf表示两者的并集， RrIf表示两者的交集， RrUSf表示真图中的部件与伪图中独有的部件做集 合的并运 算。 9.如权利要求1所述的遥感图像场景 分类方法， 其特征在于， 步骤S4中， 组合的损失 的计算方式为： 部件级分类损失 的计算方式为： 部件级相似性度量损失 的计算方式为：权　利　要　求　书 2/3 页 3 CN 114764880 A 3