(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111662884.3 (22)申请日 2021.12.31 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 郑庆祥　金积德　田亮　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 代理人 肖明洲 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/40(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进YOLOv3的夜间红外行人检测方法 及系统 (57)摘要 本发明公开了一种基于改进YOLOv3的夜间 红外行人检测方法及系统， 使用复数红外相机采 集复数红外行人检测数据集并对数据集进行像 素值对比度增强处理， 增加行人像素值并减少背 景像素值； 基于YOL Ov3改进并构建夜 间红外行人 检测网络模型YOL Ov3‑SAB， 引入stem下采样模 块 和非对称卷积提高网络特征提取能力和特征表 达能力， 引入瓶颈残差减少模型中计算参数、 提 高模型行人检测速度； 使用均值聚类算法聚类生 成特定地先验瞄框， 提升模型目标定位精度； 应 用CIoU作为YOLOv3 ‑SAB网络边界框回归损失函 数， 加快模型收敛、 提升预测框准确度； 训练 YOLOv3‑SAB网络生成夜 间红外行人检测模型； 使 用夜间红外行人检测模型在夜间进行实时红外 行人检测。 本发 明有效提升了针对夜间行人的检 测精度和检测速度。 权利要求书4页 说明书8页 附图7页 CN 114332942 A 2022.04.12 CN 114332942 A 1.一种基于改进YOLOv3的夜间红外行 人检测方法， 其特 征在于， 包括以下步骤： 步骤1： 构建深度学习目标检测网络YOLOv3 ‑SAB， 负责提取行人样貌特征及行人头部、 身体和四肢轮廓特 征； 所述深度学习目标检测网络 YOLOv3‑SAB， 是基于 YOLOv3神经网络的改进网络； 其中， 使用下采样模块stem代替YOLOv3神经网络中特征提取网络部分中的卷积核为3 ×3、 步幅为2的下采样卷积； 所述stem模块由两条支路并连组成， 一条支路对上一次输出的 特征进行1 ×1、 步幅为 1和3×3、 步幅为2的卷积操作， 另一条支路对 上一次输出的特征进 行 2×2、 步幅为2的最大池化操作， 将两条支路输出的特征图相加并保持通道数不变， 获得融 合后的特 征图； 使用瓶颈残差模块替换YOLOv3神经网络中特征提取网络部分中的残差模块， 并将瓶颈 残差模块中的3 ×3、 步幅为 1的卷积替换为 非对称卷积； 所述瓶颈残差模块由两条支路并连 组成， 一条支路首先使用1 ×1、 步幅为1的卷积进行通道数量压缩， 再利用非对称卷积进行 特征提取， 保持通道数量不变， 最后通过进行1 ×1、 步幅为 1的卷积将通道数量还原， 另一条 支路进行短路连接， 将两条支路输出 的特征图相加并保持通道数不变， 获得融合后的特征 图； 使用非对称卷积替换瓶颈残差模块中3 ×3、 步幅为1的卷积， 非对称卷积对上一次输出 的特征图分别进行卷积核尺度为3 ×3、 3×1和1×3的卷积操作和归一化处理， 将分别 经过 上述三种卷积操作和归一化处理后的三个特征图融合并保持通道数不变， 最后使用Relu激 活函数激活； 步骤2： 训练深度学习目标检测网络 YOLOv3‑SAB； 具体包括以下子步骤： 步骤2.1： 使用复数红外相机在不同视角和场景下采集复数行人红外视频数据， 将所述 复数行人 红外视频数据逐帧提取为复数红外图片数据， 选取所述复数 红外图片数据制作为 红外行人检测数据集； 对所述复数红外图片数据进行增强处理， 增加行人 的灰度值并减小 背景的灰度值， 对所述复数红外图片数据中行人目标的位置信息、 行人尺寸信息和行人类 别信息进行影像标注， 其中所述行人类别信息依据行人样貌信息、 轮廓信息和尺寸信息作 为分类依据； 步骤2.2： 采用均值聚类算法对所述影像标注后的行人尺寸进行聚类， 聚类得到针对夜 间红外行人检测的先验瞄框尺寸， 将所述聚类得到的先验瞄框尺寸替换深度学习目标检测 网络YOLOv3‑SAB中的原先验框尺寸； 步骤2.3： 根据步骤2.1中采集得到的红外行人检测数据集， 将数据集按照预定比例 分 配为训练数据集和测试数据集； 使用训练数据集对 所述深度学习目标检测网络Y OLOv3‑SAB 进行训练， 训练过程中深度学习目标检测网络YOLOv3 ‑SAB每进行一轮次迭代 生成并保存一 个模型权重文件， 直至深度学习目标检测网络YOLOv3 ‑SAB达到收敛状态停止训练； 深度学 习目标检测网络YOLOv3 ‑SAB使用所述模型权重文件作为行人检测权重对测试数据集中所 有复数红外图片数据进行侦测， 侦测得到测试数据集中的所有行人信息并保存， 根据侦测 结果和步骤2.1中标注的真实行人信息进行比对计算得到检测精度， 选取测试精度最高的 模型权重文件作为深度学习目标检测网络 YOLOv3‑SAB的模型权 重； 步骤3： 将实时采集的复数红外视频图像输入深度学习目标检测网络YOLOv3 ‑SAB， 使用权　利　要　求　书 1/4 页 2 CN 114332942 A 2步骤2.3中所述模型权 重文件作为行 人侦测权 重对视频 数据进行实时行 人检测。 2.根据权利 要求1所述的基于改进YOLOv3的夜间红外行人检测方法， 其特征在于： 步骤 2.1中， 依据下式(1)所示的分段线性 函数对复数红外图片数据灰度值进行变换； 其中， r表示转换前的复数红外图片数据灰度值， R表示转换后的复数红外图片数据灰 度值。 3.根据权利 要求1所述的基于改进YOLOv3的夜间红外行人检测方法， 其特征在于， 步骤 2.2中所述采用均值聚类算法对所述影像标注后的行人尺寸进行聚类， 具体实现包括以下 子步骤： 步骤2.2.1： 在所述影像标注后的数据集中， 随机选取K个标注框作为初始先验瞄框， K 个初始先验瞄框即为簇的K个聚类中心； 步骤2.2.2： 使用标注框和先验瞄框的交并比1 ‑IoU进行距离度量， 将与初始瞄框距离 最近的标注框分配到初始瞄框所在的簇中； 步骤2.2.3： 计算每个簇中所有瞄框宽和高的均值， 根据每个簇中所有瞄框宽和高的均 值更新每 个簇中聚类中心的宽和高； 步骤2.2.4： 重复步骤2.2.2和步骤2.2.3， 直至聚类中心宽和高尺寸不再变化， 此时得 到的聚类中心的尺寸作为夜间行 人红外检测的先验瞄框尺寸。 4.根据权利 要求1所述的基于改进YOLOv3的夜间红外行人检测方法， 其特征在于： 步骤 2.2中， 使用CIoU目标检测边界框回归损失函数替换Y OLOv3神经网络中原始 IoU边界框回归 损失函数， 作为深度学习目标检测网络 YOLOv3‑SAB的边界框回归损失函数； 深度学习目标检测网络 YOLOv3‑SAB的边界框回归损失函数为： 其中， α 表示权重参数， ν表示宽高比一致性参数； hgt、 wgt表示真实框的高、 宽； h、 w表示预 测框的高、 宽； b和bgt表示预测框与真实框的中心点， ρ()表示欧式距离， c表示预测框b与真 实框bgt的最小外 接矩阵的对角线距； 1 ‑IoU表示标注框和先验瞄框的交并比。 5.根据权利 要求1所述的基于改进YOLOv3的夜间红外行人检测方法， 其特征在于： 步骤 2.3中， 所述， 根据侦测结果和步骤2.1中标注的真实行人信息进 行比对计算得到检测精度， 计算内容主 要包括： 查 准率Precisi on、 召回率Recal l、 平均准确率AP和每秒检测帧率FP S；权　利　要　求　书 2/4 页 3 CN 114332942 A 3