(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210734336.5 (22)申请日 2022.06.27 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 杨文　贺钰洁　张妍　余淮　余磊　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/766(2022.01) G06V 10/44(2022.01) G06V 10/60(2022.01) G06V 10/25(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于特征对齐的目标检测方法和系统 (57)摘要 本发明提供一种面向未配准的可见光、 红外 图像对的基于特征对齐的目标检测方法和系统， 本发明将红外模态作为参考模态， 可见光模态作 为偏移模态， 固定参考模态， 全程只对偏移模态 进行操作。 本发明采用由粗到细的特征对齐策 略， 通过特征偏移预测模块预测偏移并修正作为 初步的对齐手段， 通过感兴趣区域对齐模块， 对 每个候选框进行二次回归以进一步校正模态特 征之间的偏移。 此外， 引入光照引 导的特征加权 模块对感兴趣区域特征重新加权， 自适应地调整 不同模态的贡献。 本方法能够在只使用一个模态 标注的情况下对有较大偏差的两个模态进行特 征对齐， 有效地提高可见光与红外图像融合目标 检测的精度， 对有模态间空间偏移的场景表现出 更强的鲁棒 性。 权利要求书4页 说明书13页 附图3页 CN 115131647 A 2022.09.30 CN 115131647 A 1.一种基于特 征对齐的目标检测方法， 其特 征在于： 所述方法包括： 步骤1： 将偏移模态图像、 参考模态图像分别输入到两路结构相同的深度 卷积神经网络 中以提取图像特 征， 两路网络不共享 参数； 步骤2： 将提取的偏移模态特征图和参考模态特征图输入到特征偏移预测模块中， 预测 偏移模态特征图的每个特征位置的偏移 量， 修正所述特征位置使两个模态的特征图初步对 齐； 步骤3： 将修正后的偏移模态特征图与参考模态特征图级联后输入区域生成网络， 得到 候选框； 步骤4： 将所述候选框输入感兴趣区域对齐模块中， 对偏移模态的候选框进行二次回 归， 得到修 正后的偏移模态候选 框以及修 正后的偏移模态感兴趣区域特 征； 步骤5： 将 偏移模态图像下采样并输入光照感知网络中预测两个模态特 征的权重； 步骤6： 利用步骤5得到的模态权重将步骤4得到的两个模态的感兴趣区域特征重新加 权， 级联后送入检测头获取感兴趣目标的位置信息， 完成目标检测模型的训练； 步骤7： 将待测图像输入所述训练好的目标检测模型， 得到目标检测结果。 2.根据权利要求1所述的方法， 其特 征在于： 步骤2具体包括： 步骤21： 将两个模态的特征图通道级联 CONCAT(·)代表通道 级联， 其中， 表示偏移模态图像特 征， 表示参考模态图像特 征； 步骤22： 通过多头注意力模块和反向残差前馈网络提取特征， 并为特征图上每个特征 位置的预测x和y方向的偏移， 偏移量 其中， MHSA( ·) 代表多头自注意力， IRFFN( ·)代表反向残差前馈网络， 代表1×1卷积层， σ( ·)代表 tanh激活函数； 使用阈值 作为超参数， 即对于每个特征在x和y方向的偏移量为 步骤23： 偏移模态特征图的修正后特征位置为 通过将特 征值变换位置得到修正后的偏移模态特征图(X ′,Y′:V)←(X,Y:V)， 其中 代表逐元素相 加， (X′,Y′:V)←(X,Y:V)表示将坐标为X,Y的特征点的值V搬移到新的坐标X ′,Y′中，←代表 赋值， 以实现特 征位置的修 正。 3.根据权利要求2所述的方法， 其特征在于： 步骤2还包括对特征偏移预测模块进行预 训练， 具体包括： 将偏移模态特征图的每个像素点在x方向以及 y方向随机偏移， 并将偏移后的图像进行 下采样作为特 征图偏移的真实值； 特征偏移预测模块进行预训练的损失函数为 其中Op,Og分别代表偏移的预测值和真实值， i,j代表特征点所处 的行序号和列序号， H,W分 别代表所述偏移模态特 征图的高和宽， n ＝HW代表所述偏移模态特 征图中元 素的个数。 4.根据权利要求1所述的方法， 其特 征在于： 步骤4具体包括： 步骤41： 首先对两个模态的候选框进行感兴趣区域上下文扩展， 得到 和权　利　要　求　书 1/4 页 2 CN 115131647 A 2步骤42： 将扩展后的感兴趣区域特征池化， 得到偏移模态的感兴趣区域特征 和参考模态的感兴趣区域特征 其中RoIPooling( ·)代表感兴趣区域池化， FO和FR分别为提取的偏移模态图像特征和参考 模态图像特 征； 步骤43： 将 进行通道级联， 为每个偏移模态候选框预测4个参数 其中， cx、 cy分别代表中心点坐标的变化量、 cw、 ch高和宽的变化量， 代表候选框回归层， σ( ·)代表tanh激活函数， CONCAT( ·)代 表通道级联； 步骤44： 采用4个超参数对变化量进行约束， 则修正后的偏移模态候选框 坐标为： 超参数 分别设为 和 代表当前候选框的宽和高， 代表初始候选 框的中心坐标、 宽和高。 5.根据权利要求 4所述的方法， 其特 征在于： 步骤4还 包括训练步骤： 利用步骤 4中得到的修正后的偏移模态候选框 计算修正后的偏移模态感 兴趣区域特征 其中RoIPooling( ·)代表感兴趣区 域池化； 对于修正后的偏移模态感兴趣区域特征 以及步骤4中得到的参考模态感兴趣区 域特征 分别求通道平均得到两个模态的响应图 MRROI， 响应最大的点分别为 计算二者的欧氏距离并将 其作为损失函数: 以拉近两个模态感兴趣区域特征最大响应点的 距离， 指导网络训练。 6.一种基于特 征对齐的目标检测系统， 其特 征在于： 所述系统包括： 提取模块： 将偏移模态图像、 参考模态图像分别输入到两路结构相同的深度卷积神经 网络中以提取图像特 征， 两路网络不共享 参数； 特征偏移预测模块： 将提取的偏移模态特征图和参考模态特征图输入到特征偏移预测 模块中， 预测偏移模态特征图的每个特征位置的偏移量， 修正所述特征位置使两个模态的 特征图初步对齐；权　利　要　求　书 2/4 页 3 CN 115131647 A 3