(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211233846.0 (22)申请日 2022.10.10 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 王欢　顾晓东　陶叔银　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 何宇 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种红外raw数据全阶段弱小目标检测方法 (57)摘要 本申请公开了一种红外raw数据全阶段弱小 目标检测方法， 首先构建红外弱小目标检测模 型， 红外弱小目标检测模型包括图像块嵌入模 块、 大/小目标分类模块、 弱小目标检测模块、 大 目标检测模块； 其次构建用于训练红外弱小目标 检测模型的训练集； 再次设计总损失函数， 使得 大/小目标分类模块、 弱小目标检测模块、 大目标 检测模块快速收敛； 接着利用训练集训练红外弱 小目标检测模 型； 最后将测试图片输入训练好的 模型进行检测。 本方法不仅能在目标距离成像设 备较远的场景下将目标很好地分割出来， 而且在 目标距离不断接近成像设备的场景下同样能够 将目标分割出来， 同时分割结果具有较低的虚警 率， 网络能够更好 地识别红外弱小目标。 权利要求书3页 说明书7页 附图7页 CN 115471735 A 2022.12.13 CN 115471735 A 1.一种红外raw数据全阶段弱小目标检测方法， 其特 征在于， 包括以下步骤： 步骤1、 构建红外弱小目标检测模型， 所述红外弱小目标检测模型包括图像块嵌入模 块、 大/小目标分类模块、 弱小目标检测模块、 大目标检测模块； 所述图像块嵌入模块用于对 输入的原始红外图像进行特征提取， 所述大/小目标分类模块用于判断原始图像中的目标 为弱小目标还是大目标， 所述弱小目标检测模块、 大目标检测模块分别用于对弱小目标或 大目标进行检测； 步骤2、 构建用于训练 红外弱小目标检测模型的训练集； 步骤3、 设计总损失函数， 使得大/小目标分类模块、 弱小目标检测模块、 大目标检测模 块快速收敛； 步骤4、 利用训练集训练 红外弱小目标检测模型； 步骤5、 将测试图片输入训练好的模型进行检测。 2.根据权利要求1所述的一种红外raw数据全阶段弱小目标检测方法， 其特征在于， 所 述图像块嵌入模块包括一个中心差分卷积CDC和 两个普通卷积Conv， 这三个卷积操作的卷 积核大小均为3 ×3， 中心差 分卷积的步长为 1， 普通卷积的步长为2； 图像块嵌入模块将输入 的红外图像依 次通过一个中心差分卷积和两个普通卷积， 进行初步特征提取， 输出一个特 征矩阵。 3.根据权利要求1或2所述的一种红外raw数据全阶段弱小目标检测方法， 其特征在于， 所述大/小目标分类模块包括一个自适应平均值池化层、 一个全连接层和一个sigmoid函 数； 图像块嵌入模块提取 的特征矩阵首先经过通过自适应平均值池化层， 进行矩阵尺寸的 压缩， 再通过全 连接层进行特征提取， 最后通过sigmoid函数将特征矩阵中的值映射到0～1 之间。 4.根据权利要求1所述的一种红外raw数据全阶段弱小目标检测方法， 其特征在于， 所 述弱小目标检测模块包括编码器和解码器； 所述编码器分为4个阶段， 每个阶段由数个基本特征提取模块组成， 提取一个尺度 上的 特征， 各阶段之间通过一个下采样模块相连； 所述解码器由全连接层、 池化层、 层标准化、 激活层和上采样组成； 第一步， 解码器采用 不同比率的池化层对编码 器第4阶段输出的特征矩阵进 行矩阵尺寸的压缩， 生成4个不同尺 寸的特征矩阵； 对这4个特征矩阵分别利用全连接层、 层标准化和激活层进行特征映射； 最 后， 4个不同的特征矩阵采用不同比率进行上采样后， 沿着通道维度进行矩阵拼接， 生成一 个新的特征矩阵； 第二步， 解码器对第一步中生 成的特征矩阵和 编码器第1、 2、 3阶段提取的 特征采用不同比率进 行上采样后， 沿着通道维度进 行矩阵拼接， 依次经过全连接层、 层标准 化层、 激活层进行 特征再提取， 最后输出一个目标像素为25 5、 背景像素为0的二 值图。 5.根据权利要求1所述的一种红外raw数据全阶段弱小目标检测方法， 其特征在于， 所 述大目标检测模块包括一个卷积层、 批量标准化层、 上采样层和sigmoid函数； 首先， 图像块 嵌入模块提取的特征矩阵通过卷积层进行特征提取， 利用批量标准化层对 卷积层输出的特 征矩阵进行标准化， 然后将特征矩阵上采样至512 ×512， 最后通过sigmoid函数将特征矩阵 中的值映射到 0～1之间。 6.根据权利要求1所述的一种红外raw数据全阶段弱小目标检测方法， 其特征在于， 步 骤2中， 训练集包括真实应用场景下包含小目标的红外图像和合成仿 真图像， 合成仿 真图像权　利　要　求　书 1/3 页 2 CN 115471735 A 2的步骤为： 步骤2‑1、 准备一个数值全为0的、 大小为512 ×512的矩阵， 设r＝10 0； 步骤2‑2、 以矩阵中心为圆心， 半径为r画圆， 矩阵中在圆内的数值设置为255， 将矩阵保 存； 步骤2‑3、 r＝r+1； 步骤2‑4、 如果r≤ 300， 则执行步骤2‑2， 否则执 行步骤2‑5； 步骤2‑5、 结束。 7.根据权利要求1所述的一种红外raw数据全阶段弱小目标检测方法， 其特征在于， 步 骤3中， 总损失函数公式为分割损失SL+分类损失CL， 这两个损失函数分别能够使得弱小目 标检测模块、 大目标检测模块和大/小目标分类模块快速收敛， Loss＝SL+CL 其中， y1为0或1， 表示分割的真实值， p1∈[0， 1]表示检测模块的输出， x表示计算的中间 结果； 分类损失采用交叉熵损失函数： CL＝y2log2(p2)+(1‑y2)log2(1‑p2) 其中y2为0或1， 表示分割的真实值， p2∈[0， 1]表示大/小目标分类模块的输出。 8.根据权利要求1所述的一种红外raw数据全阶段弱小目标检测方法， 其特征在于， 步 骤4中， 利用训练集训练 红外弱小目标检测模型的具体步骤为： 步骤4‑1、 将训练集图像统一缩放至 512×512后分批次输入到模型中； 步骤4‑2、 在整个训练集经过一轮迭代后， 重新打乱整个数据集， 进行再次训练， 直至模 型收敛为止； 步骤4‑3、 训练300轮后， 保存结果 最好的模型参数用于测试。 9.根据权利要求1所述的一种红外raw数据全阶段弱小目标检测方法， 其特征在于， 步 骤5中， 将测试图片 输入训练好的模型进 行检测具体为： 加载训练完成后保存的模型参数并 设定模型不再计算梯度， 将测试图像缩放至512 ×512输入模型得到目标像素值为255背景 像素值为0的二值图。 10.根据权利要求4所述的一种红外raw数据全阶段弱小目标检测方法， 其特征在于， 编 码器分为4个阶段， 每个阶段基本特征提取模块数量分别为2、 2、 6、 2， 提取一个尺度上的特 征， 各阶段之间通过一个下采样模块相连； 每一阶段基本特征提取模块的输出是一个特征 矩阵， 输入则是上一 阶段基本特征提取模块输出 的特征矩阵； 基本特征提取模块由自注意 力计算模块和前馈网络组成， 自注意力模块首先利用层标准化对输入的特征矩阵进行标准 化， 然后通过全连接层进行特征映射， 生成一个特征矩阵Q， 对Q进行两次复制， 得到矩阵K、 V； 再对Q、 K、 V采用Bayer插值并重排列后生成Q ′、 K′、 V′， Q′、 K′、 V′分别划分成4 ×4的小块后权　利　要　求　书 2/3 页 3 CN 115471735 A 3