(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210193761.8 (22)申请日 2022.03.01 (71)申请人 长沙一扬电子科技有限公司 地址 410008 湖南省长 沙市开福区芙蓉北 路街道金马路377号福天兴业大楼综 合楼407房 （集群注 册） (72)发明人 刘聆　刘冬云　彭波　 (74)专利代理 机构 长沙大珂知识产权代理事务 所(普通合伙) 4323 6 专利代理师 伍志祥 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 7/00(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于红外多波段图像自适应融合的目 标识别方法 (57)摘要 本发明公开了一种基于红外多波段图像自 适应融合的目标识别方法， 方法包括： 获取相同 场景的红外短波、 中波、 长波图像， 保持红外短 波、 中波、 长波图像之间的严格配准， 并融合为一 张多通道图像； 使用改进的Faster  RCNN网络进 行目标识别训练， 其中在Faster  RCNN网络的骨 架网络与区域建议网络 之间增加特征融合模块， 提高对于小尺度目标的检测精度； 将融合后的多 通道图像图像输入改进的Faster  RCNN网络进行 目标识别， 输 出目标识别结果。 本发明容易实现， 计算复杂度也低， 相较于像素级融合， 采用了无 监督学习方式来融合不同来源的图像， 对于不同 场景的鲁棒 性更强。 权利要求书1页 说明书3页 附图4页 CN 114612756 A 2022.06.10 CN 114612756 A 1.一种基于红外多 波段图像自适应融合的目标识别方法， 其特 征在于， 包括以下步骤： 获取相同场景的红外短波、 中波、 长波图像， 保持所述红外短波、 中波、 长波图像之间的 严格配准， 并融合 为一张多通道图像； 使用改进的Faster  RCNN网络进行目标识别训练， 所述改进的Faster  RCNN网络在 Faster RCNN网络的骨架网络与区域建议网络之间增加特征融合模块， 提高对于小尺度目 标的检测精度； 将融合后的多通道图像图像输入所述改进的Faster  RCNN网络进行目标识别， 输出目 标识别结果。 2.根据权利要求1所述的基于红外多波段图像自适应融合的目标识别方法， 其特征在 于， 使用SE ‑Workbench仿真软件得到相同场景的红外短波、 中波、 长波图像。 3.根据权利要求1所述的基于红外多波段图像自适应融合的目标识别方法， 其特征在 于， 所述特 征融合模块使用晚融合 技术， 使用co ncat方法将多个特 征进行连接。权　利　要　求　书 1/1 页 2 CN 114612756 A 2一种基于红外多波段图像自适应融合的目标识别方 法 技术领域 [0001]本发明属于目标识别技术领域， 尤其涉及 一种基于红外多波段图像自适应融合的 目标识别方法。 背景技术 [0002]目标的红外图像反映了其在对应波段的红外特性， 不同波段的图像包含了不同的 目标特征信息， 这些信息往往具有互补性， 将不同来源的信息进 行融合， 利用不同模态图像 的信息互补性使融合图像对场景 的描述更加全面， 为识别提供更加丰富的数据支撑， 相较 于单波段图像， 使识别精度进一步提高。 按照融合层次的不同， 图像融合可分为像素级、 特 征级和决策级。 典型 的像素级融合依赖手工设计的方法将多 幅图像组合为一幅图像， 对场 景和干扰的适应性较差； 特征级融合则是将不同来源图像的特征进 行融合， 鲁棒性较好， 但 算法的运算量将大大增加， 尤其是对于卷积神经网络结构的算法； 决策级融合则是将基于 不同来源图像得到的结果进行融合， 需要设计额外的应对措施来面对不同的决策。 除此以 外， 这种高水平的融合无法很好地建立不同类型图像之间的内部特征关系， 并成倍增加资 源数量和运行时间。 发明内容 [0003]有鉴于此， 本发明提出了一种基于红外多波段图像自适应融合的目标识别方法， 由于目标在不同波段的图像中具有不同的特征信息， 而这些信息往往具有互补性和合作 性。 因此本发明在识别时， 将多波 段信息进 行融合， 利用不同模态图像的信息互补性使融合 图像对场景 的描述更加全面， 得到比仅使用单波段信息更加 准确可靠的识别结果。 特别适 用于存在严重遮挡场景 下的目标识别。 [0004]本发明公开的基于红外多 波段图像自适应融合的目标识别方法， 包括以下步骤： [0005]获取相同场景的红外短波、 中波、 长波图像， 保持所述红外短波、 中波、 长波图像之 间的严格 配准， 并融合 为一张多通道图像； [0006]使用改进的Faster  RCNN网络进行目标识别训练， 所述改进的Faster  RCNN网络在 Faster RCNN网络的骨架网络与区域建议网络之间增加特征融合模块， 提高对于小尺度目 标的检测精度； [0007]将融合后的多通道图像图像输入所述改进的Faster  RCNN网络进行目标识别， 输 出目标识别结果。 [0008]进一步的， 使用SE ‑Workbench仿真软件得到相同场景的红外短波、 中波、 长波图 像。 [0009]进一步的， 所述特征融合模块使用晚融合技术， 使用concat方法将多个特征进行 连接。 [0010]本发明的有益效果如下： [0011]本发明针对远距离被动红外成像存在光照较差、 观测视角不理想、 目标尺寸较小、说　明　书 1/3 页 3 CN 114612756 A 3