(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211318412.0 (22)申请日 2022.10.26 (71)申请人 北京环境特性研究所 地址 100854 北京市海淀区永定路5 0号 (72)发明人 程宇航　张樯　李斌　姚裔仁　 (74)专利代理 机构 北京格允知识产权代理有限 公司 11609 专利代理师 周娇娇 (51)Int.Cl. G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 红外弱小目标的检测方法、 装置、 计算设备 及存储介质 (57)摘要 本发明实施例涉及图像处理技术领域， 特别 涉及一种红外弱小目标的检测方法、 装置、 计算 设备及存储介质。 其中， 方法包括： 获取待检测的 红外弱小目标图像； 将红外弱小目标图像输入至 预先训练生成的检测模型中； 其中， 检测模型基 于预设的神经网络训练得到， 预设的神经网络包 括由四个残差网络串 联而成的骨干网络、 由多个 空洞卷积层组成的上下文特征提取网络、 特征融 合网络和检测头模块； 根据检测头模块的输出结 果， 得到对红外弱小目标图像的检测结果。 本方 案， 可以提高检测模型对红外弱小目标的检测能 力。 权利要求书3页 说明书13页 附图1页 CN 115546586 A 2022.12.30 CN 115546586 A 1.一种红外弱小目标的检测方法， 其特 征在于， 包括： 获取待检测的红外弱小目标图像； 将所述红外弱小目标图像输入至预先训练生成的检测模型中； 其中， 所述检测模型基 于预设的神经网络训练得到， 所述预设的神经网络包括由四个残差网络串联而成的骨干网 络、 由多个空洞卷积层组成的上 下文特征提取网络、 特 征融合网络和检测头模块； 根据所述检测头模块的输出 结果， 得到对所述红外弱小目标图像的检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述检测头模块包括第 一检测头和第 二检 测头； 所述检测模型的训练方式， 包括： 获取多个 被标注有标签的训练样本； 将多个所述训练样本输入至所述骨干网络中， 以利用所述骨干网络 中的四个残差网络 分别对每一个所述训练样本进行第一阶段特征提取、 第二 阶段特征提取、 第三阶段特征提 取和第四阶段 特征提取， 以得到每一个阶段 特征提取后的特 征图； 将所述第四阶段特征提取后的特征图输入至所述上下文特征提取网络中的每个空洞 卷积层中， 以得到每一个所述训练样本对应的扩张特 征图； 利用所述特征融合网络， 基于所述第三阶段特征提取后的特征图和所述扩张特征图， 得到每一个所述训练样本对应的第一融合特征图， 并在得到所述第一融合特征图之后， 基 于所述第一融合特征图和所述第二阶段特征提取后的特征图， 得到每一个所述训练样本对 应的第二融合特 征图； 将所述第一融合特征图和所述第二融合特征图分别输入至所述第一检测头和所述第 二检测头， 以得到每一个所述训练样本的输出 结果； 根据每一个所述训练样本的输出结果和每一个所述训练样本对应的标签， 调整所述神 经网络的网络参数， 直至得到符合预期的检测模型。 3.根据权利要求2所述的方法， 其特征在于， 所述第 一检测头和所述第 二检测头共享同 一组网络参数； 所述第一检测头和所述第二检测头利用分组归一 化方式训练网络参数。 4.根据权利要求2或3所述的方法， 其特征在于， 所述第一检测头和所述第二检测头均 包括分类分支、 回归分支和中心度分支； 所述将所述第一融合特征图和所述第二融合特征图分别输入至所述第一检测头和所 述第二检测头， 以得到每一个所述训练样本的输出 结果， 包括： 将所述第一融合特征图和所述第二融合特征图分别输入至所述第一检测头的分类分 支和所述第二检测头的分类分支， 得到所述第一融合特征图和所述第二融合特征图中每一 个像素点的分类结果； 将所述第一融合特征图分别 输入至所述第 一检测头的回归分支和中心度分支， 将所述 第二融合特征图分别输入至所述第二检测头的回归分支和中心度分支， 得到所述第一融合 特征图的回归结果和所述第二融合特 征图的回归结果。 5.根据权利要求4所述的方法， 其特征在于， 所述 回归分支和所述中心度分支共享同一 组卷积层。 6.根据权利要求4所述的方法， 其特征在于， 所述检测头模块的输出结果包括第 一目标 特征图的分类结果和回归结果， 以及第二 目标特征图的分类结果和回归结果； 所述第一 目权　利　要　求　书 1/3 页 2 CN 115546586 A 2标特征图的分类结果和回归结果为利用所述检测模型中的所述第一检测头， 对所述红外弱 小目标图像经过所述检测模型中的所述特征融合网络后得到的第一目标特征图的输出结 果； 所述第二目标特征图的分类结果和 回归结果为利用所述检测模型中的所述第二检测 头， 对所述红外弱小目标图像经过所述检测模型中的所述特征融合网络后得到的第二目标 特征图的输出 结果； 所述根据所述检测头模块的输出结果， 得到对所述红外弱小目标图像的检测结果， 包 括： 分别将所述第 一目标特征图和所述第 二目标特征图中的每个像素点， 映射 回所述红外 弱小目标图像中， 以分别根据所述第一目标特征图和所述第二目标特征图对应的分类结果 确定出初始目标； 根据所述第 一目标特征图和所述第 二目标特征图对应的回归结果， 生成每一个所述初 始目标的备选 框； 计算每一个所述初始目标在所述红外弱小目标图像中的中心像素点至对应的备选框 的距离， 以根据所述距离对每一个所述初始目标进行筛 选， 得到红外弱小目标； 计算每一个所述红外弱小目标在所述红外弱小目标图像中的中心像素点至对应的备 选框的归一化距离， 以根据所述归一化距离对所述红外弱小目标对应的备选框进行筛选， 得到所述红外弱小目标的检测框 。 7.根据权利要求6所述的方法， 其特 征在于， 所述距离是通过如下公式进行计算的： 式中， 所述距离为(l*,t*,r*,b*)， l*、 t*、 r*和b*分别为所述初始目标在所述红外弱小目 标图像中的中心像素点至对应的备选框的左侧距离、 上侧距离、 右侧距离和下侧距离， 为所述备选 框的左上角点的坐标， 为所述备选 框的右下角点的坐标； 所述归一 化距离是通过如下公式进行计算的： 式中， Centerness为所述归一化距离， l*、 t*、 r*和b*分别为所述红外弱小目标在所述红 外弱小目标图像中的中心像素点至对应的备选框的左侧距离、 上侧距离、 右侧距离和下侧 距离。 8.一种红外弱小目标的检测装置， 其特 征在于， 包括： 获取单元， 用于获取待检测的红外弱小目标图像； 检测单元， 用于将所述红外弱小目标图像输入至预先训练生成的检测模型中； 其中， 所 述检测模型基于预设的神经网络训练得到， 所述预设的神经网络包括由四个残差网络串联 而成的骨干网络、 由多个空洞卷积层组成的上下文特征提取网络、 特征融合网络和检测头权　利　要　求　书 2/3 页 3 CN 115546586 A 3