(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211054722.6 (22)申请日 2022.08.30 (71)申请人 中国电子科技 集团公司第三十八研 究所 地址 230088 安徽省合肥市高新 技术开发 区香樟大道19 9号 (72)发明人 窦浩　伍政华　代泽洋　倪向东　 李静　王潇　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 朱文振 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/26(2022.01) G06V 10/42(2022.01)G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多粒度词元的红外与可见光图像融合 方法及系统 (57)摘要 本发明提供基于多粒度词元的红外与可见 光图像融合方法及系统包括： S1、 采集获取红外 图像及可见光图像， 在不少于2 个的差异尺度上， 分别对红外图像和可见光图像进行分解； 多粒度 词元全局特征提取： 通过不少于2个的独立 Transformer分支， 分别计算红外图像和可见光 图像的长程依赖关系； 利用预置逻辑设计损失函 数， 据以监督并训练预置的多粒度词元融合模 型； 通过多粒度词元融合模块融合红外图像和可 见光图像， 据以得到多粒度词元融合输出图像。 本发明解决了融合模型性能差、 复杂度高、 特征 提取及表征受限的技 术问题。 权利要求书3页 说明书12页 附图9页 CN 115331112 A 2022.11.11 CN 115331112 A 1.基于多粒度词元的红外与可 见光图像融合方法， 其特 征在于， 所述方法包括： S1、 采集获取红外图像及可见光图像， 在不少于2个的差异尺度上， 分别对所述红外图 像和所述可 见光图像进行分解； S2、 多粒度词元全局特征提取： 通过不少于2个的独立Transformer分支， 分别计算所述 红外图像和所述可见光图像的长程依赖 关系， 其中， 在每个所述独立Transformer分支设计 不少于2个Transformer模型， 以提取全面多尺度长程依赖关系， 所述 步骤S2包括： S21、 将所述红外图像及所述可 见光图像分割成多尺度分区域patc h； S22、 将所述红外图像和所述可见光图像转换为红外序列 和可见 光序列 S23、 利用预置线性投影E嵌入处理所述红外序列 和所述可见光序列 并在每个序 列中加入编码位置信息， 以得到编码红外序列 及编码可 见光序列 S24、 利用全连接层， 以预置嵌入逻辑对所述编码红外序列 及所述编码可见光序列 进行嵌入操作， 以得到关系提取参数； S25、 利用多头自注意力机制MSA， 以预置逻辑处理所述关系提取参数， 以从所述红外图 像和所述可见光图像中， 提取得到所述长程依赖关系， 据以获取多头自注意力融合参数， 其 中， 所述多头自注意力融合 参数包括： 红外词元 及可见光词元To kenVsj； S3、 利用预置 逻辑设计损失函数， 据以监 督并训练预置的多粒度词元融合模型； S4、 通过多粒度词元融合模块融合所述红外图像和所述可见光图像， 据以得到多粒度 词元融合输出图像， 所述 步骤S4包括： S41、 以预置权重定义逻辑得到可学习注意权值， 据以利用预置关系捕获逻辑， 捕获所 述红外词元 与所述可 见光词元To kenVsj的多粒度词元相关性； S42、 利用预置重建逻辑处理所述多粒度词元相关性以及差异尺度特征， 以得到所述多 粒度词元融合输出图像。 2.根据权利要求1所述的基于多粒度词元的红外与 可见光图像融合方法， 其特征在于， 所述步骤S21包括： 利用下述逻辑， 将所述红外图像在每个尺度 上分为N个Ps2大小的所述多 尺度分区域patc h： 式中， s为对分割图像 应用的尺度， s 分别定义 为1、 2、 3。 3.根据权利要求1所述的基于多粒度词元的红外与 可见光图像融合方法， 其特征在于， 所述步骤S23中， 以下述逻辑， 利用所述预置线性投影E嵌入处理所述红外序列 和所述可 见光序列 并在每个序列中加入编码位置信息： 式中， 和 表示两幅原图像在s的不同尺度下的编码序列。权　利　要　求　书 1/3 页 2 CN 115331112 A 24.根据权利要求1所述的基于多粒度词元的红外与 可见光图像融合方法， 其特征在于， 所述步骤S24中， 利用所述全连接层， 以下述逻辑对所述编码红外序列 及所述编码可见 光序列 进行嵌入操作： 式中， 和 表示红外和可见光图像序列的query、 key和 value， LN表示全连通层。 5.根据权利要求1所述的基于多粒度词元的红外与 可见光图像融合方法， 其特征在于， 所述步骤S25中， 以下述逻辑处理所述关系提取参数， 以从所述红外图像和所述可见光图像 中， 提取得到所述长程依赖关系： 式中， 和TokenVsj是MSA的输出。 6.根据权利要求1所述的基于多粒度词元的红外与 可见光图像融合方法， 其特征在于， 所述步骤S3包括： S31、 利用下述逻辑计算所述红外图像与融合图像在强度域的损失： S32、 利用下述逻辑处理得到损失L1及总损失， 据以保留所述可见光图像的细节及亮度 信息： 式中， L表示总损失值， M表示像素总数， f、 I、 V分别表示 融合结果、 红外图像和可见光图 像， ||·||F表示矩阵Forben ius范数， λ为平衡参数。 7.根据权利要求1所述的基于多粒度词元的红外与 可见光图像融合方法， 其特征在于， 所述步骤S41包括： S411、 利用下述逻辑， 以可学习注意权值捕获所述红外词元 与所述可见光词元 TokenVsj的所述多粒度词元相关性： 式中， f表示s尺度下融合词元计算出的特征， R表示重塑操作， 和 表示所述 红外词元 和所述可 见光词元To kenVsj的可学习注意权 重； S412、 平衡所述红外词元 和所述可 见光词元To kenVsj在同一位置的重要性。 8.根据权利要求1所述的基于多粒度词元的红外与 可见光图像融合方法， 其特征在于， 所述步骤S412中， 利用下述逻辑， 平衡所述红外词元 和所述可见光词 元TokenVsj在 同一位置的重要性：权　利　要　求　书 2/3 页 3 CN 115331112 A 3