(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210155416.5 (22)申请日 2022.02.21 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 申请人 华南理工大 学珠海现代产业创新研 究院 (72)发明人 杜启亮　杨湖广　田联房　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 基于改进YOLOv4的输电线路周边烟火检测 方法 (57)摘要 本发明公开了一种基于改进YOLOv4的输电 线路周边烟火检测方法， 包括： 输电线路周边图 片采集与烟火训练集构建、 烟火图片标注； 对烟 火训练集进行数据增强； 对烟火目标进行anchor 框的聚类； 对YOL Ov4检测模型结构 进行针对性改 进； 用烟火训练集训练改进YOLOv4检测模型； 采 集高压电塔附近现场图片； 将图片 进行resize后 输入改进YOL Ov4检测模型中进行模型前向推导； 对模型前向推导中获得的预测结果进行解码操 作， 筛选出置信度大于预设阈值的检测框进行保 留； 对检测框中的重叠框进行筛选； 将获得的检 测框绘制在原始图片上， 在检测框的左上角区域 标出预测类别信息。 本发明可实时检测输电线路 周边的烟火情况， 将烟雾和火焰进行精准检测和 定位， 实现对输电线路周边火灾的实时预警作 用。 权利要求书4页 说明书9页 附图10页 CN 114626439 A 2022.06.14 CN 114626439 A 1.基于改进YOLOv4的输电线路周边烟火检测方法， 其特 征在于， 包括以下步骤： 1)获取输电线路周边环境监控图片， 对收集到的图片进行筛选， 选出具有烟火的图片 作为烟火训练集； 2)对烟火训练集中的图片进行烟雾和火焰目标标注， 获得每张图片中对应烟火目标的 标注文件； 3)根据高压电塔附近户外环境特性对收集到的烟火训练集中的图片进行数据增强处 理， 随机对烟火训练集中的图片进行亮度调整、 对比度调整和饱和度调整， 对烟火训练集中 的图片进行随机裁剪、 随机翻转镜像和 Mosaic增强， 随机添加高斯噪声的方法对烟火训练 集进行数据增强， 扩充数据量， 提高模型的泛化能力； 4)根据处理后的烟火训练集 中的图片中烟火目标的特点， 使用基于IOU的k ‑means聚类 的方法对烟火目标进行anc hor框的聚类， 获得真实烟火目标的9个聚类anc hor框； 5)结合实际的应用场景以及检测要求对YOLOv4检测模型结构进行改进， 得到改进 YOLOv4检测模型， 其改进包括使用了深度可分离卷积减小检测模型的参数量， 降低计算量 提高检测模型实时性， 在加强特征提取过程中使用注意力的方法加强检测模型对特征的进 一步筛选， 提高检测模型的检测精度； 6)将烟火训练集 中的图片输入到改进YOLOv4检测模型中进行模型训练， 将步骤4)中获 得的anchor框的值作为改进YOLOv4检测模型的先验 anchor值， 根据预设的训练epoch数进 行训练， 保存训练时改进YOLOv4检测模型的模型参数， 将验证集损失最小的模型参数作为 改进YOLOv4检测模型的模型参数； 7)通过高压电塔上的摄 像头拍摄高压电塔附近的现场图片； 8)将拍摄到的现场图片的长边resize到416， 然后对图片的短边部分进行零填充， 填充 到416， 防止直接resize成416*416过程中发生图片失真， 再将resize后的图片输入到改进 YOLOv4检测模型中进行模型的前向推导； 9)改进YOLOv4检测模型加载步骤6)获得的模型参数， 对模型前向推导中获得的预测结 果进行解码操作， 获得所有预测检测框中检测目标的置信度、 检测类别概率、 检测框的位置 调整参数， 筛 选出置信度大于预设阈值的检测框进行保留； 10)对获得的检测框进行进一步的筛选， 使用基于DIOU 的非极大值抑制对检测框中的 重叠框进行筛 选， 当重叠框中的DIOU值大于预设阈值时， 只保留其中置信度大的检测框； 11)将最后获得的检测框绘制在原始图片上， 在检测框的左上角区域标出检测框的预 测类别信息， 从而完成输电线路周边烟火的检测。 2.根据权利 要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法， 其特征在于， 在步骤1)中， 通过在高压电塔上架设球机或枪机， 调整球机或枪机的角度对输电线路周边 环境进行监控， 每隔1分钟采集 一次图片， 将采集到的图片通过4G网络传输 到服务器。 3.根据权利 要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法， 其特征在于， 在步骤2)中， 通过lab elimg标注工具对获得的具有烟火目标的图片进行标注， 使用矩形框 标注出图片中的烟雾和火焰的位置 。 4.根据权利 要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法， 其特征在于， 在步骤3)中， 针对高压电塔所 处的复杂的户外环境下， 根据户外图片极易受到外界天气、 光 照条件的影响， 对烟火训练集中的图片进 行数据增强， 对烟火训练集中的图片的亮度、 对比权　利　要　求　书 1/4 页 2 CN 114626439 A 2度、 饱和度进行改变， 以应对多变的外部环境变化带来的影响； 针对烟火目标的多尺度特 点， 对烟火训练集中的图片进 行随机裁剪， Mosaic数据增强； 针对户外环 境下多变的环境及 噪声影响， 使用随机添加高斯噪声对烟火训练集中的图片进行数据增强； 使用随机翻转镜 像的方式对烟火训练集中的图片进行扩充。 5.根据权利 要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法， 其特征在于， 在步骤4)中， 对于anchor ‑based的检测模型， 需要人为设置先验的anchor框， 通过使用基于 IOU的k‑means聚类的方法获得符合真实烟火目标的先验anchor框， 使得anchor框更贴近目 标bounding  box， 从而使得检测 模型能更好地对真实烟火目标进行检测； 为了在三个有效 特征层上对目标进行检测， 且每个特征层设置三个anchor框数， 所以将基于IOU的k ‑means 聚类数设置为9； 初始化9个anchor框作为9 个聚类中心， 在所有bounding  box标注框中选出 9个框作为anchor框的初始值； 计算每个bounding  box框和9个anchor框之间的IOU值， 将 bounding  box分到与其IOU值最大的anchor框所属的聚类； 一次聚类完成后， 计算属于每个 anchor聚类的boun ding box的宽高平均值， 作为下次聚类的anchor宽高； 重复聚类过程直 到所有bounding  box所属的anchor类与前一次聚类结果相同， 停止聚类过程， 输出9 个聚类 anchor作为检测模型的先验anc hor框。 6.根据权利 要求1所述的基于改进YOLOv4的输电线路周边烟火检测方法， 其特征在于， 在步骤5)中， 所述YOLOv4检测 模型由主干特征提取网络、 加强特征提取网络和YOLOhead组 成； 其中， 在 主干特征提取网络中使用深度可分离卷积减小检测模型的计算参数， 加快检测 模型的检测推理速度， 实现检测的实时性； 深度可分离卷积是通过将正常的一步卷积拆分 成为两步进行卷积； 深度可分离卷积将卷积核拆分为两个卷积核， 一个卷积核负责对各个 通道分别进行卷积操作， 对每个通道的特征进行单独的特征提取， 另一个卷积核负责对分 通道卷积后的特征进行逐点卷积， 将各个通道特征进行融合； 在加强特征提取网络中使用 注意力对特征做进一步的筛选， 提高检测模型对目标的检测能力； 注意力机制对图像的各 个特征加上不同权重， 区分各个特征的重要程度， 利于检测模型对目标的检测； 改进后的 YOLOv4检测模型 结构包括以下模块： 模块1， 由可分离卷积层、 BN层、 激活函数Leaky  ReLU组成； 模块2， 由可分离卷积层、 BN层、 激活函数Mish组成； 模块3， 由两个模块2堆叠加上短接边组成； 模块4， 由模块3和模块 4组成， 其中模块3堆叠的数量 为1个； 模块5， 由模块3和模块 4组成， 其中模块3堆叠的数量 为2个； 模块6， 由模块3和模块 4组成， 其中模块3堆叠的数量 为4个； 模块7， 由模块3和模块 4组成， 其中模块3堆叠的数量 为8个； 模块8， 由5 *5最大池化层、 9*9最大池化层、 13 *13最大池化层组成； 模块9， 为 一个注意力机制模块； 改进后的YOLOv4检测模型是由上面九个模块搭建而成； 改进YOLOv4检测模型的loss损 失函数在三个有效特征层上进行计算； 改进YOLOv4检测模型的loss损失函数包括三个部 分： 预测置信度的loss、 预测种类的loss、 预测bounding  box的回归loss； 损失函数公式如 公式(1)所示： loss＝lossconf+losscls+lossbbox    (1)权　利　要　求　书 2/4 页 3 CN 114626439 A