(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210008040.5 (22)申请日 2022.01.06 (71)申请人 东南数字经济发展研究院 地址 324000 浙江省衢州市柯 城区芹江东 路288号1幢16 01室 (72)发明人 吴炜　谢煜晨　吴宁　钟幸宇　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 童杨益 (51)Int.Cl. G06T 5/00(2006.01) G06T 7/13(2017.01) G06V 20/13(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多任务学习的高分辨率影像缺失 区域重建方法 (57)摘要 本发明提出了一种基于多任务学习的高分 辨率影像缺失区域重建方法， 该方法将高空间分 辨率影像上的缺失区域填充看成一个条件式的 图像生成问题， 采用基于门控卷积的条件式对抗 生成网络模型结构进行实现。 其中， 生成器通过 编码和解码的结构进行特征提取， 并使用同一特 征进行地物类别、 边界提取和缺失区域填充完成 三个相关的任务， 引导特征提取模块关注地物类 型、 边界等信息， 从而获得细 节丰富、 真实的无缺 失影像。 判别器判别各个影像是生成的， 还是真 实的， 并据此指导生成器进行优化。 本发明通过 引导生成器关注地物边界和地物类别信息， 可以 获得细节与纹 理丰富的无缝重建结果。 权利要求书2页 说明书5页 附图3页 CN 114612315 A 2022.06.10 CN 114612315 A 1.一种基于多任务学习的高分辨率影像缺失区域重建方法， 其特征在于， 输入的原始 影像I上存在部 分区域缺失， 使用掩膜M标识影像上各个像素的有效情况， 1表 示缺失值， 0表 示有效值， 本方法所采用网络包括如下部分： 1、 生成器 生成器输入遥感影像I及其缺失区域掩膜M， 得到地物类别T、 边界B、 缺失区域重建的结 果IOUT， 该结构由一个基于卷积自动编码 ‑解码器网络构成， 以下按照编 码器、 解码 器和影像 重建三个部分介绍其具体结构： 1)编码器 编码器实现多个尺度的特 征提取， 包括以下几个步骤： 首先， 对原始影像I和掩膜M进行通道串联(Concat)处理， 然后进行二维卷积(Conv2D) 进行处理， 得到特 征F1： F1＝Conv2D(Concat(I*(1 ‑M)+M,M)),k＝32,s＝1   (1) 其中， k表示卷积核数量， s表示卷积步长， +表示逐像素的矩阵相加。 其次， 使用门控卷积GatedCo nv2D对输出 特征F1进行编码， 得到F2： F2＝GatedCo nv2D(F1),k＝64,s＝2   (2) 再次， 使用Co nv2D对F2进行编码， 得到F3： F3＝Conv2D(F2),k＝64,s＝1   (3) 然后， 将F3通过卷积核数量k＝128、 s＝2的GatedConv2D操作编码后获得F4， 再将F4经过 卷积核数量 k＝128、 s＝1的Co nv2D操作继续对编码的特 征进行组合获得 F5。 最后， 我们使用GatedCo nv2D对F5进行多尺度的空洞卷积， 得到 。 F6＝MultiDi latedGatedCo nv2D(F5),k＝128,s＝1   (4) 其中， MultiDilatedGatedConv2D包含四层Gat edConv2D， 卷积核数量k＝128， 其中每层 都做不同膨胀率的空洞卷积， 分别为2、 4、 8和16。 空洞卷积可以让网络得到多尺度特征和更 大的感受域， 为 缺失区域重建提供跨尺度、 跨区域的信息； 2)解码器 解码器将编码器得到特征图输入到门控卷积中实现特征图的放大， 获得与原始影像相 同大小的特 征， 实现缺失区域重建， 实现步骤如下： 首先， 将编码器输出的特征F5与F6按通道维度串联Concat， 输入GatedConv2D卷积层中 进行融合并解码， 得到特 征F7和F8： F7＝GatedCo nv2D(Concat(F6,F5)),k＝128,s＝1   (5) F8＝Conv2D(F7),k＝128,s＝1   (6) 使用TransposeGatedCo nv2D对输入特 征F8进行放大， 得到F9： F9＝TransposeGatedCo nv2D(F8),k＝64,s＝1   (7) 其中， Transp oseGatedConv2D为上采样函数和GatedConv2D的组合， 本发明使用的上采 样函数为邻近采样插值， 类似地， 将F6与编码器输出的F9按通道维度串联Concat， 输入卷积核数量k＝64、 s＝1的 GatedConv2D后得到F10， 经过一个k＝64、 s＝1的Conv2D得到F11。 将F11输入卷积核数量k＝ 32、 s＝1的TransposeGatedConv2D放大得到F12， 再将F12和F1串联输入卷积核数量k＝32、 s＝ 1的GatedCo nv2D得到F13；权　利　要　求　书 1/2 页 2 CN 114612315 A 23)影像重建 影像重建是对缺失区域重建， 获得无缺失的影像的过程， 所述的多任务学习同时包含 地物类别识别和边缘检测两个附加任务， 从而引导特征提取模块能够同时关注地物类别和 边界两种信息， 在得到特 征F13之后， 经过一层Co nv2D操作处 理， 获得重建影 像IOUT： IOUT＝Conv2D(F13),k＝3,s＝1  (8) 地物类别识别子任务中， 将F7， F10采用三次插值函数U放大至F13的长宽， 并按照通道数 维度串联Concat， 再经过一层二维卷积Conv2D， 得到地物类别识别结果TOUT， 该过程可以表 示为如下： TOUT＝Conv2D(Concat(U(F7),U(F10),F13)),k＝C,s＝1  (9) 其中， k表示分类 类别数量C相等， 边缘检测子任务依赖于地物类别识别的结果， 通过地物分类结果一层卷积得到， 边缘 强度图BOUT看可以表示 为： BOUT＝Conv2D(TOUT),k＝1,s＝1  (10) 使用边缘检测能够引导影像重建时关注地物的边界细节， 优化生成结果的锐化程度； 使用地物类别 信息能够引导 生成器关注地物的类别 信息， 增加纹理的识别能力； 2、 判别器 判别器采用一种光谱局部判别器， 由6个卷积核为5 ×5、 步长为2 ×2的Conv2D组成。 判 别器的每 个卷积层都使用了光谱 归一化， 来稳定训练， 在判别器训练过程， 本发明使用LSGAN作为损失函数进行训练， 该损失主要判别器损失 LossD和GAN的损失L ossGAN两个部分组成， 其形式如下： 其中， X表示输入真实数据I； Y是输入的生成数据， 即IOUT。 D(X)和D(Y)分别表示输入真 实数据X和输入生成数据Y的判别结果。 由于使用的是全卷积判别器， 获得的判别高维矩阵 小于原始图像大小， 表 示图像子区域是否生成还 是真实的判别概率， 使用1表 示生成， 0标识 真实， a和b表示与判别器输出 大小相同的高维矩阵， a的值全为1； b的值全为0， GAN的损失LossGAN是为了计算生成器生成数据判别器判别的结果和正确结果之间 的差 距， 从而优化 生成器的生成， 具体公式如下： 通过上述两个函数判别输入图片是真实影 像还是生成影 像， 实现二 者的协同优化。 2.根据权利要求1生成器部分的结构， 同时进行边界检测、 影像类别识别和缺失区域重 建三个任务， 使得 特征提取时能够同时关注影 像上的地物边界、 影 像类别和缺失区域。权　利　要　求　书 2/2 页 3 CN 114612315 A 3