(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210353729.1 (22)申请日 2022.04.06 (65)同一申请的已公布的文献号 申请公布号 CN 114511470 A (43)申请公布日 2022.05.17 (73)专利权人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 钟锡武　钱静　孙加裕　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 成丹　耿慧敏 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 113191325 A,2021.07.3 0CN 112465733 A,2021.0 3.09 CN 113066037 A,2021.07.02 CN 114119444 A,2022.03.01 CN 111582363 A,2020.08.25 CN 113920043 A,202 2.01.11 CN 113222823 A,2021.08.0 6 CN 112819737 A,2021.0 5.18 Zengyun Hu等.Temporal and spatial variations in the ter restrial water storage acros s Central Asia based o n multiple satel lite datasets and gl obal hydrological models. 《Journal of Hydrology》 .2021,(第596期),第1-16页. 朱超.多光谱与全色遥感图像融合 算法的研 究. 《中国优秀硕士学位 论文全文数据库 信息科 技辑》 .2013,(第1 1期),第I140 -279页. 王乐等.基于感知损失的遥感图像全色锐化 反馈网络. 《计算机科 学》 .2021,第48卷(第8 期), 第91-98页. (续) 审查员 周琼 (54)发明名称 一种基于注意力机制的双分支全色锐化方 法 (57)摘要 本申请提供一种基于注意力机制的双分支 全色锐化方法， 该方法包括： 获取多光谱图像和 全色图像； 采用基于注意力机制的特征提取模块 的通道注 意力分支提取多光谱图像的互补信息， 得到第一互补特征； 通道注意力分支用于在通道 维度上自适应的调整通道权重； 及采用基于注意 力机制的特征提取模块的空间注意力分支提取 全色图像的互补信息， 得到第二互补特征； 空间 注意力分支用于在空间维度上自适应的对全色 图像的每个像素的系数进行加权； 对第一互补特 征和第二互补特征进行融合， 得到融合特征； 对 融合特征进行图像重建， 得到高分辨率多光谱图像。 该方案可以得到更高分辨 率的多光谱图像 。 [转续页] 权利要求书2页 说明书12页 附图2页 CN 114511470 B 2022.07.08 CN 114511470 B (56)对比文件 吴佼华等.基于双分支卷积神经网络的SAR 与多光谱图像融合实验. 《地理与地理信息科 学》 .2021,第37 卷(第2期),第2 2-30页. Wanwan Zhang等.A ttention-Based Tri- UNet for Remote Sensi ng Image Pan- Sharpening. 《IEEE Journal of Selected Topics i n Applied Earth Observati ons and Remote Sensi ng》 .2021,第14卷第3719- 3732页. 姚远等.定量遥感尺度转换方法研究进 展. 《地理科 学》 .2019,第39卷(第3期),第3 67-376 页. 杨晴.基于注意力网络的多光谱与高光谱融 合方法及系统. 《中国优秀硕士学位 论文全文数 据库 工程科技 Ⅱ辑》 .2022,(第1期),第C 028- 158页.2/2 页 2[接上页] CN 114511470 B1.一种基于注意力机制的双分支全色锐化方法， 其特 征在于， 所述方法包括： 获取多光谱图像和全色图像； 采用基于注意力机制的特征提取模块的通道注意力分支提取所述多光谱图像的互补 信息， 得到第一互补特征； 所述通道注意力分支用于在通道维度上自适应的调整通道权重； 及采用所述基于注意力机制的特征提取模块的空间注意力分支提取所述全色图像的互补 信息， 得到第二互补特征； 所述空间注意力 分支用于在空间维度上自适应的对所述全色图 像的每个像素的系数进行加权； 对所述第一互补特 征和所述第二互补特 征进行融合， 得到融合特 征； 对所述融合特 征进行图像重建， 得到高分辨 率多光谱图像； 其中， 所述采用基于注意力 机制的特征提取模块的通道注意力分支提取所述多光谱图 像的互补信息， 得到第一互补特 征， 包括： 对所述多光谱图像进行上采样， 得到上采样后多光谱图像， 所述上采样后多光谱图像 的大小与所述全色图像的大小一 致； 采用所述基于注意力机制的特征提取模块的通道注意力分支提取所述上采样后多光 谱图像的互补信息， 得到所述第一互补特 征； 其中， 所述对所述融合特 征进行图像重建， 得到高分辨 率多光谱图像， 包括： 采用三层卷积层对所述融合特征进行图像重建， 得到所述高分辨率多光谱图像； 其中， 每层所述卷积层后均连着一层激活层； 其中， 所述对所述融合特 征进行图像重建， 得到高分辨 率多光谱图像， 还 包括： 对所述融合特 征进行图像重建， 得到 重建图像； 利用长跳跃连接， 将所述上采样后多光谱图像连接 至所述重建图像； 将所述上采样后多光谱图像与所述重建图像求和， 得到所述高分辨 率多光谱图像； 其中， 执行所述方法采用的基于注意力机制的双分支融合网络的损失函数为： 其中， N是小批量训练样本的数量， 和 分别是全色图像和低 分辨率多光谱图像， 是相应的高分辨率多光谱图像， 是网络的参数， 为基于注意力机制的双分支融 合网络的网络模型， 是原始的未上采样的多光谱图像， 是原始的全色图像； 是光谱失真指数： 其中， 分别为第i波段和第j波段的高分辨率多光谱图像； 分别为第i波段和 第j波段的低分辨 率多光谱图像； K表示波段 数； Q表示图像质量指数；权　利　要　求　书 1/2 页 2 CN 114511470 B 3