(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210855995.4 (22)申请日 2022.07.08 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路 (72)发明人 李少毅　杨曦　孙扬　 (74)专利代理 机构 西安凯多 思知识产权代理事 务所(普通 合伙) 61290 专利代理师 赵革革 (51)Int.Cl. G06T 5/50(2006.01) G06T 7/30(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于特征热图的红外双波段图像融合 方法 (57)摘要 本发明涉及一种基于特征热图的红外双波 段图像融合方法， 通过深度学习检测网络与图像 融合网络， 利用神经网络算法分类与感知特性得 到特征热图与图像融合权重矩阵， 得到一种基于 特征热图的红外双波 段图像融合方法， 提高红外 探测复杂多变背景下融合图像目标信息， 抑制背 景环境。 本方法通过利用特征热图， 改变了原有 传统图像融合方法融合时仅能全局融合的特性， 使得融合算法可以根据不同需要融合图像中指 定区域， 同时抑制其余区域的信息， 实现图像融 合。 权利要求书1页 说明书4页 附图2页 CN 115294000 A 2022.11.04 CN 115294000 A 1.一种基于特 征热图的红外双波段图像融合方法， 其特 征在于步骤如下： 步骤1： 对红外中波、 长波图像数据进行配准， 保留 图像背景重叠部分， 将两幅图像裁剪 成相同大小， 构建融合图像数据集Data＝{(Im1,Il1),(Im2,Il2),...(Imn,Iln)}， 其中Im表示 中波图像， Il表示长波图像； 步骤2： 将数据集分为两组Dat atrain和Datatest， Datatrain图像作为训练样本， Datatest作 为测试样本， 对Datatrain数据进行 标注， 得到标注后的数据作为网络训练的输入； Datalabel＝Label(Datatrain)＝{(I1,x1,y1,width1,hight1),...,(In,xn,yn,widthn, hightn)} 步骤3： 构建图像融合网络， 图像融合网络输入为步骤2训练集中波、 长波图像， 输出为 像素级图像融合方法融合权 重矩阵： ω＝Fuse(Im,IL) 其中ω为融合权 重矩阵， Fuse为深度学习网络； 检测网络 输入为标注后的数据， 输出为目标的位置信息； 步骤4： 步骤2中的训练数据送入图像融合网络进行训练， 标注数据送入检测网络进行 训练， 得到训练后的模型； 步骤5： 将步骤4得到的预训练模型进行组合， 首先， 模型的第 一帧图像的输入为红外 中 波、 长波图像数据， 经过图像融合模型得到融合权重， 根据融合权重融合中波、 长波图像得 到融合图像； 其次， 将 融合后图像作为检测网络输入， 经过检测网络， 在检测网络的输出层 前得到特征图， 根据特征图权重融合特征信息得到特征热图； 最后， 从第二帧开始， 将前一 帧得到特征热图与当前帧图像融合网络的得到的融合权重相乘， 得到目标增强后的融合权 重， 再与当前帧中波、 长波图像结合， 形成融合图像； 步骤6： 根据步骤5所得模型， 将图像步骤2所述测试集中中波、 长波图像分组输入模型， 得到融合图像。权　利　要　求　书 1/1 页 2 CN 115294000 A 2一种基于特征热图的红外双波段图像融合 方法 技术领域 [0001]本发明属于数字图像处理中图像融合领域， 涉及 一种基于特征热图的红外双波段 图像融合方法。 背景技术 [0002]随着近现代战场环境变得日益复杂， 红外成像导引头、 红外搜索与跟踪系统等红 外探测设别的远距探测需求也日益增长， 不再局限于单一的环境和气候背景。 但由于远距 探测环境的复杂多变与恶劣的气象环境， 单波红外所探测的信息量已无法满足检测识别目 标的要求， 导致无法确定目标的信息。 所以目前的发展主要通过双波/多波段红外协同探 测， 提升对目标信息的获取， 同时发展红外双波图像融合 技术。 [0003]目前关于红外双波段图像融合的方法大多都通过全图融合等方式进行， 像素级 或 者特征级融合方法均采用全局融合的方式， 增强目标信息的同时将背景信息也同时增强， 而无法实现同时增强目标、 抑制背景信息。 这导致在检测识别过程中， 存在背景干扰， 容易 出现错检、 漏检与识别错 误等问题。 [0004]因此， 在对现有红外双波段 图像融合方法的深入研究的基础上， 提出一种基于特 征热图的红外双波段图像融合方法， 凸显融合图像中目标的信息， 抑制背 景环境， 提升融合 过程的自主性与场景感知调整能力。 发明内容 [0005]要解决的技 术问题 [0006]为了避免现有技术的不足之处， 本发明提出一种基于特征热图的红外双波段图像 融合方法， 实现图像融合中目标增强， 背景抑制。 [0007]技术方案 [0008]一种基于特 征热图的红外双波段图像融合方法， 其特 征在于步骤如下： [0009]步骤1： 对红外中波、 长波图像数据进行配准， 保 留图像背景重叠部分， 将两幅图像 裁剪成相同大小， 构建融合图像数据集Data＝{(Im1,Il1),(Im2,Il2),…(Imn,Iln)}， 其中Im表 示中波图像， Il表示长波图像； [0010]步骤2： 将数据集分为两组Datatrain和Datatest， Datatrain图像作为训练样本， Datatest作为测试样本， 对Datatrain数据进行 标注， 得到标注后的数据作为网络训练的输入； [0011]Datalabel＝Label(Datatrain)＝{(I1,x1,y1,width1,hight1),…,(In,xn,yn,widthn, hightn)} [0012]步骤3： 构建图像融合网络， 图像融合网络输入为步骤2训练集中波、 长波图像， 输 出为像素级图像融合方法融合权 重矩阵： [0013]ω＝Fuse(Im,IL) [0014]其中ω为融合权 重矩阵， Fuse为深度学习网络； [0015]检测网络 输入为标注后的数据， 输出为目标的位置信息；说　明　书 1/4 页 3 CN 115294000 A 3