(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658127.9 (22)申请日 2021.12.3 0 (71)申请人 河南中光学集团有限公司 地址 473000 河南省南阳市工业 南路508号 (72)发明人 童飞飞　李辉　杨亚林　卫倩倩　 王梅　王骞　葛琳琳　毛锐　王辉　 谭云龙　张仁洁　 (74)专利代理 机构 北京隆达恒晟知识产权代理 有限公司 1 1899 专利代理师 庄振乾 (51)Int.Cl. G06T 7/33(2017.01) G06K 9/62(2022.01) G06V 10/46(2022.01) G06V 10/75(2022.01)G06F 17/16(2006.01) (54)发明名称 一种图像融合时图像配准错位的自适应配 准方法 (57)摘要 本发明属于图像融合的配准技术应用领域， 提出一种图像融合时图像配准错位的自适应配 准方法。 第一步： 特征点检测； 特征点检测使用 sift算法， 利用此法确定 特征点； 第二步： 特征点 匹配； sift描述子可以用向量来表示， 两个描述 子之间的相似程度可以用他们之间的距离来表 示， 通常距离越小， 说明两个描 述子越相似， 则更 有可能是同一个特征点； 特征点之间的匹配就是 找到描述子集合之间差异最小的点对的集合； 第 三步： 计算单应性矩阵。 本发明采用上述技术方 案， 能够解决图像融合因观察不同距离进行镜头 调焦导致图像错位的问题， 从而提升融合图像效 果。 权利要求书1页 说明书6页 附图4页 CN 114529592 A 2022.05.24 CN 114529592 A 1.一种图像融合时图像配准错位的自适应配准方法， 其特征在于,采取重新计算单应 性矩阵模型来实时修 正图像配准， 计算单应性矩阵模型如下： 第一步： 特征点检测； 特征点检测使用sift算法， 利用此法确定特 征点； 第二步： 特征点匹配； sift描述子可以用向量来表示， 两个描述子之间的相似程度可以用他们之间的距离来 表示， 通常距离越小， 说明两个描述子越相似， 则更有可能是同一个特征点； 特征点之间的 匹配就是找到描述子集 合之间差异最小的点对的集 合； 特征点匹配时可能会产生错误匹配， 此时采取一些检测算法来对匹配的结果进行过 滤； 交叉验证是一种用来过滤错误匹配点对的方法， 其思想是再进 行一次反向的匹配过程， 将第一次匹配的结果中， 被匹配的点作为需要匹配的点， 反向在第一幅图中寻找最佳匹配 点， 如果和第一次匹配的结果 一致的话， 就认为该点对是一次正确的匹配， 否则将其过 滤； 第三步： 计算单应性矩阵； 根据匹配得到的特 征点， 计算单应性矩阵H， 然后通过射影 变换， 把一个 射影平面上的点映射到另一个射影平面上； 单应性矩阵有8个参数： 其中m2和m5表示水平和垂直方向的位移， m0、 m1、 m3、 m4代表相邻图片旋转和放缩变换， m6和m7代 表水平和垂直方向的形变量； 单应性矩阵的计算公式为： P1＝H×P2 其中 表示匹配的特 征点； 第四步： 图像融合； 在取得两个图像之间的单应矩阵后， 则映射关系可以表示 为： 其中， (u1， v1， 1)T表示图像1中的像点， (u2， v2， 1)T是图像2中的像点， 也就是可以通过 单应矩阵H将图像2变换到图像1， 使他们处于同一视角， 输入图像经过单应矩阵映射后， 通 过如下公式进行图像融合： I(x， y)＝ w1*I1(x， y)+w2*I2(x， y) 其中I(x， y)表示融合后的像素值， I1(x， y)、 I2(x， y)分别表示红外图像和可见光图像经 过单应性矩阵映射后的像素值， 本发明取w1＝0.7、 w2＝0.3。权　利　要　求　书 1/1 页 2 CN 114529592 A 2一种图像融合时图像配准错位的 自适应配准方 法 技术领域 [0001]本发明属于图像融合的配准技术应用领域， 具体涉及解决图像融合因观察不同距 离进行镜 头调焦导 致图像错 位的自适应 配准方法。 背景技术 [0002]多传感器数据通常提供某区域的互补信息。 图像融合的目的是由这些数据得到新 的图像以提供更多的复杂和详细的场景表示。 其在 模式识别、 遥感、 医学成像和现代军事等 场景分析中有着重要的应用。 可见光传感器主要捕获反射光使得可见光图像具有丰富的背 景信息， 更有利于建立判别模型。 相比之下， 红外传感器主要捕捉物体发出的热辐射， 受光 照变化或伪装的影响较小， 因此， 它可以克服一些障碍发现目标并且昼夜工作。 因此， 将红 外图像中的热物体信息和可见光的背景信息融合到一张图像中不仅可以使其更符合人的 视觉感知， 并且有利于后续应用比如目标识别等。 一般情况下， 图像融合由低到高分为三个 层次： 像素级融合、 特 征级融合、 决策级融合。 [0003]当前的红外与可见光图像融合方法层次主要是像素级与特征级相结合， 由于红外 与可见光图像展示的是同一场景下的图像信息， 对于平行光轴的红外可见光双摄像头配置 进行图像配准， 主要的 限制是图像配准只是对 特定的目标距离(Dtarget)有效。 配准误差σ x (以像素单位)的数 学表达式为： [0004] [0005]其中f为焦距， lpix为像素大小， dx为基线长度。 Doptimal是目标距 离， 即图像对齐误差 为0。 如果光轴平行， 即Doptimal＝无穷远， 只有目标物体在相对观察者很远的位置将会精确 对齐， 对于距离较近(Dtarget<无穷远)将会出现配准误差。 由于红外和可见光的焦距 不一样， 导致空间物体在两种图像上成像大小不一样， 同时， 使用的红外/可见光硬件系统光心在Y 方向上存在偏差， 即使根据焦距大小对图像进行缩放也并不能使得同一物体在不同图像上 的成像大小相同。 因此对于通过调焦镜头看不同距离的目标时， 调焦后图像配准就存在偏 差， 本发明通过一种方法来 修正这种配准 误差来提升融合图像效果。 发明内容 [0006]针对上述问题， 本发明提出一种图像融合时图像配准错位的自适应配准方法， 目 的是为了不影响图像处理的实时性， 当通过目镜观察时， 待调焦(需要观察的目标距离有变 化时， 需要调焦来调整图像清晰度)完成后， 通过实时计算单应性矩阵来调整图像配准， 本 发明的图像融合方法如下： [0007]一种图像融合时图像配准错位的自适应配准方法， 采取重新计算单应性矩阵模型 来实时修 正图像配准， 计算单应性矩阵模型如下： [0008]第一步： 特征点检测；说　明　书 1/6 页 3 CN 114529592 A 3