(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210427413.2 (22)申请日 2022.04.21 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区八一路 299号 (72)发明人 郭羽萱　张学敏　金光　戴小兵　 (74)专利代理 机构 合肥方舟知识产权代理事务 所(普通合伙) 34158 专利代理师 刘跃 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/54(2022.01) G06T 7/33(2017.01) G06T 5/50(2006.01)G06N 3/04(2006.01) G06V 10/82(2022.01) (54)发明名称 一种融合注意力机制的启明星一号卫星多 源数据生成对抗融合网络方法 (57)摘要 本发明公开了一种融合注意力机制的启明 星一号卫星多源 数据生成对抗融合网络方法， 包 括以下步骤： 步骤一： 图像预处理： 对多源数据进 行配准， 步骤二： 步骤二： 以红外与夜光的图像融 合为例， 采用AttentionFGAN网络， 包含 一个生成 器和两个鉴别器， 步骤三： 插入注意力机制模块， 步骤四： 训练融合模型， 利用得到的融合模型处 理测试集， 测试得到的模 型性能； 步骤五： 评价多 源遥感图像融合效果， 本发明在 “启明星一号 ”微 纳卫星的应用背景下， 结合多种遥感数据特点， 挖掘遥感图像内在纹理细节特征以及对应在不 同图像域的相似关联性， 在保留红外图像的亮度 信息的同时， 用夜光的细 节信息提高红外图像的 细节纹理信息， 从而提高目标的探测概 率。 权利要求书3页 说明书8页 附图1页 CN 115482401 A 2022.12.16 CN 115482401 A 1.一种融合注意力 机制的启明星一号卫星多源数据生成对抗融合网络方法， 其特征在 于， 包括以下步骤： 步骤一： 图像预处 理： 对多源数据进行配准； 步骤二： 以红外与夜光的图像融合为例， 采用AttentionFGAN网络， 包含一个生成器和 两个鉴别器， 在生成器中设计两个多尺度注意力网络和一个融合网络， 多尺度注意力网络 为、 红外多尺度注意力网络和可见光多尺度注意力网络， 分别用来提取红外和可见光图像 注意力图， 使生成器能够聚焦于红外图像的目标区域和可见光图像的背景细节信息， AttentionFGAN采用双鉴别器结构， 使融合图像保存更多源图像信息， 同时， 在两个鉴别器 中也引入注意力模块， 使鉴别器能够通过注意力模块更多的从典型特征区域而非整幅图像 来鉴别图像， 从而提高鉴别能力和效率， AttentionFGAN融合算法的损失函数， 包括生成器 损失和鉴别器损失两个部分； 生成器损失： AttentionFGAN 融合算法的生成器损失主要包括三个部分： 对抗损失： 内容损失和注意 力损失， 生成器损失的定义如下： LG＝Ladv(G)+λLcon+ξ Latt 式中LG为生成器损失， Ladv表示对抗损失， Lcon表示内容损失， Latt代表本文提出的注意力 损失， λ和 ξ为超参数， 内容损失Lcon旨在使生成图像不 断接近于红外图像， 因为红外传感器 通过捕获热辐射信息成像， 图像特征主要通过像素强度来表 示， 所以内容损失Lcon主要计算 红外图像和融合图像的像素强度差异， Lcon的定义如下： 式中H和W分别为图像的长和宽， If和Iir分别表示融合图像和红外图像； AttentionFGAN将注意力机制引入到鉴别器， 使鉴别器更多的关注典型特征区域而非 整幅图像来鉴别输入图像， 因此， 当鉴别器无法正确鉴别两幅输入图像时， 两幅图像在鉴别 器中计算得到的注意力图应具有相似特征， 所以为了使融合图像保存更多的注意力区域信 息， 通过计算同一鉴别器中两幅源图像和融合图像注意力图间的差异来计算注意力损失， 其计算公式如下： 式中H和W分别为图像的长和宽， 和 分别表示鉴别器1(输入为红外和融合图 像)中当输入分别为融合图像和红外图像时的注意力图， 和 分别表示鉴别器2 中当输入分别为融合图像和可 见光图像时的注意力图； 在AttentionFGAN融合框架中为了使融合图像保存更多的红外目标信息和可见光中的 背景细节信息， 设计了 两个鉴别器， 因此对抗损失的计算公式如下： 式中If表示融合图像， 表示融合图像的数据分布， Dir表示以红外和融合图像作为输 入的鉴别器， Dvis表示以可 见光和融合图像作为输入的鉴别器；权　利　要　求　书 1/3 页 2 CN 115482401 A 2鉴别器损失： AttentionFGAN融合算法中采用双鉴别器结构， 且在该算法中使用了WGAN， 因此 AttentionFGAN的鉴别器损失定义如下： 式中 分别表示以红外与融合图像作 为输入的鉴别器损失和以可见光与融合图像 作为输入的鉴别器损失， Pir表示红外与可 见光图像数据分布， Pf表示融合图像数据分布； 步骤三： 插入注意力机制模块： 多尺度注意力计算模块旨在通过计算注意力图使生成 器和鉴别器聚焦于典型特征区域， 其中多尺度注 意力计算模块的输入数据为源图像卷积层 特征， 由于源图像所包含的对 象往往具有不规则性， 单一尺度往往不能充分提取空间特征 信息， 通过不同尺度的池化操作计算多尺度特征， 针对不同尺度特征考虑特征的重要性， 使 网络能够聚焦于重要 特征而忽略冗余特征， 即 网络通过特征的全局信息计算不同特征的权 重， 重新标定输入特征， 具体计算过程为多尺度 注意力模块通过训练获得在s池化尺度下的 第k个特征 的权重 其公式如下： 其中 为特征全局信息计算， σ 代 表Sigmoid函数， w1为函数系数， 其尺寸为1*1*k， 为特征权重， 再将计算得到 的特征权重 与原始 特征对相乘来强调不同特征间的相对重要性， 在此基础上将重新标定的特征按照通道方向 求和， 其计算公式如下： 式中Fsum为重新标定的特征在通道方向上的和， Hup为针对不同尺度特征的上采样过程， 在此基础上对每个尺度的Fsum做归一化操作得到不同尺度的注意力图Fs， 为了获得最终的 注意力图， 将不同尺度的注意力图Fs在通道方向连接， 并沿着通道方向取各个像素位置 的 最大值， 因为在注意力图中像素值能反映该位置特 征的重要性。 步骤四： 训练融合模型， 利用得到的融合模型处 理测试集， 测试 得到的模型性能； 步骤五： 评价多源遥感图像融合效果： 采用主观评价和客观评价两种方式对融合结果进行评估； 熵： 熵是基于信息理论测量融合图像中包 含信息量的指标， 计算方式如下： 其中L是灰度级的个 数， pl是融合图像中相应 灰度级的归一化直方图， 熵值越大， 信息越 丰富， 融合效果越好， 熵值 易受噪声影响， 因此只作为辅助指标； 互信息：权　利　要　求　书 2/3 页 3 CN 115482401 A 3