(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111647466.7 (22)申请日 2021.12.2 9 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 凌强　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 代理人 金怡 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/00(2006.01) G06T 3/60(2006.01) G06T 3/00(2006.01) G06V 10/40(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于YOLOv5的光伏板红外图像热斑检 测方法及系统 (57)摘要 本发明涉及一种基于YOLOv5的光伏板红外 图像热斑检测方法及系统， 其方法包括： S1： 使用 无人机获取生产运行中的光伏组件红外图像， 得 到原始数据集； S2： 提取原始数据集中图像进行 预处理得到光伏组件热斑数据集； S3： 构建改进 YOLOv5模型， 使用训练集对其进行训练以及使用 测试集对其进行测试， 选取其中检测精度最高的 模型作为训练好的改进YOLOv5模型； S4： 使用训 练好的改进YOLOv5模型对待检测的光伏组件图 像进行检测， 在对输出的检测框处理后， 输出光 伏组件类别信息。 本发明提供的方法， 提高了光 伏板热斑检测的准确性， 有效地区分长条形热斑 缺陷与小型 热斑。 权利要求书3页 说明书5页 附图3页 CN 114299033 A 2022.04.08 CN 114299033 A 1.一种基于 YOLOv5的光伏板红外图像热斑 检测方法， 其特 征在于， 包括： 步骤S1： 使用无 人机获取生产运行中的光伏组件红外图像， 得到原 始数据集； 步骤S2： 提取所述原始数据集中图像的光伏 组件区域， 得到子图像， 对所述子图像 中的 热斑区域进行标注， 得到光伏组件热斑数据集； 将所述光伏组件热斑数据集按照预设比例 分为训练集和 测试集， 并对所述训练集进行 数据扩充； 步骤S3： 构建改进YOLOv5模型， 使用所述训练集对其进行训练以及使用所述测试集对 其进行测试， 选取其中检测精度最高的模 型作为训练好的改进Y OLOv5模型； 其中， 所述改进 YOLOv5模型包括三个部分： Backbone、 Neck和Prediction； Backbone采取了 Focus结构与CSP 结构， Neck中采用FPN和PAN结构， 并分别加入卷积块注意力模块CBAM， 在Prediction的预测 结果使用GIOU损失函数 更新整个模型参数； 步骤S4： 使用所述训练好的改进YOLOv5模型对待检测的光伏组件图像进行检测， 在对 输出的检测框处 理后， 输出光伏组件类别 信息。 2.根据权利 要求1所述的基于YOLOv5的光伏板红外图像热斑检测方法， 其特征在于， 所 述步骤S1： 使用无 人机获取生产运行中的光伏组件红外图像， 得到原 始数据集， 具体包括： 步骤S11： 使用配备红外热像仪的无人机对光伏电站光伏 组件分布建图并编号， 规划无 人机飞行路径； 步骤S12： 在运行的光伏 组串上方以合适速率飞行并连续拍摄光伏 组件红外图像， 每隔 固定帧数选取 所拍摄图像中的有效图像， 得到原 始数据集。 3.根据权利 要求1所述的基于YOLOv5的光伏板红外图像热斑检测方法， 其特征在于， 所 述步骤S2： 提取所述原始数据集中图像的光伏组件区域， 得到子图像， 对所述子图像中的热 斑区域进行标注， 得到光伏组件热斑数据集； 将所述光伏组件热斑数据集按照预设比例分 为训练集和 测试集， 并对所述训练集进行 数据扩充， 具体包括： 步骤S21： 对所述原始数据集的每一张红外图像 中的所有光伏 组件， 使用标注工具标注 代表其位置的四个顶点， 得到光伏组件区域； 步骤S22： 利用仿射变换将所述 光伏组件区域变换成预设尺寸的子图像； 步骤S23： 对所述子图像中的热斑区域， 使用目标检测中的COCO数据格式进行标注， 得 到光伏组件热斑数据集； 步骤S24： 将所述光伏 组件热斑数据集按照预设比例分为训练集和测试集， 并对所述训 练集进行翻转变换与Gamma变换以扩充数据， 其中， 翻转包括： 上下翻转与左右翻转， Gamma 指数γ∈(0.2,5)。 4.根据权利 要求1所述的基于YOLOv5的光伏板红外图像热斑检测方法， 其特征在于， 所 述步骤S3： 构建改进YOLOv5模型， 使用所述训练集对其进行训练以及使用所述测试集对其 进行测试， 选取其中检测精度最高的模型作为训练好的改进YOLOv5模型； 其中， 所述改进 YOLOv5模型包括三个部分： Backbone、 Neck和Prediction； Backbone采取了 Focus结构与CSP 结构， Neck中采用FPN和PAN结构， 并分别加入卷积块注意力模块CBAM， 在Prediction的预测 结果使用GIOU损失函数 更新整个模型参数， 具体包括： 步骤S31： 利用BackBo ne对所述训练集中图片进行 特征提取， 得到特 征图； 步骤S32： 在Neck中分别在FPN和PAN的横向连接中加入卷积块注意力模块CBAM， 所述卷 积块注意力模块CBAM由通道注意力模块CAM和空间注意力模块SAM串联而成： CAM模块将输权　利　要　求　书 1/3 页 2 CN 114299033 A 2入的所述特征图分别经过全局 最大池化和全局平均池化后， 再分别通过两层全连接层， 所 得到的特征进行element ‑wise加法操作后经过激活函数sigmoid得到最终的通道注意力特 征图， 将所述输入特征图与所述通道注意力特征图进行element ‑wise乘法操作得到SAM输 入特征图； SAM模块将所述SAM输入 特征图经过基于通道的全局最大池化和全局平局池化后 的特征图进行concat拼接操作， 然后经过7x 7的卷积层和sigmoid激活函数生成空间注 意力 特征图， 与所述SAM 输入特征图相乘后得到最终输出 特征， 计算公式如下： MC(F)＝σ(MLP(AvgPo ol(F))+MLP(MaxPo ol(F))) MS(F)＝σ(f7x7([AvgPool(F)； MaxPo ol(F)])) 其中， MC和MS为CAM和SAM的输入输出映射， F代表输入特征， σ代表sigmoid激活函数， MLP、 AvgPo ol、 MaxPool分别代表全连接层、 全局平局池化和全局最大池化； 步骤S33： 根据Predicti on的预测结果， 使用GIOU损失函数 更新整个模型参数； 步骤S34： 将所述测试集输入所述改进YOLOv5模型进行前向推理， 得到输出特征图， 对 所述输出特征图进 行解码后， 使用带权值的非极大值抑制， 得到最 终的目标检测结果， 与真 实标签比较后计算模型的指标mAP， 并选取在所述测试集上指标最高的模型作为训练好的 改进YOLOv5模型。 5.根据权利 要求1所述的基于YOLOv5的光伏板红外图像热斑检测方法， 其特征在于， 所 述步骤S4： 使用所述训练好的改进YOLOv5模型对待检测的光伏组件图像进行检测， 在对输 出的检测框处 理后， 输出光伏组件类别 信息， 具体包括： 步骤S41： 从待检测的光伏组件图像中任取一张检测图像， 经所述训练好的改进YOLOv5 前向推理得到检测框集 合B＝{bi＝(xi,yi,wi,hi),i＝1,…,N}； 其中， xi,yi,wi,hi分别代表检测框在图像中的中心点横坐标、 纵坐标、 宽与高； 步骤S42： 设置热斑的最小长宽阈值t1， 即删除满足条件 的检测框， 同 时设置长条形热斑的最小相对阈值t2， 对于满足条件 的检测框将其视作长条形热斑 目标， 若所述检测框集合里没有任何有效框， 则分类结果为正常光伏组件； 若 所述检测框集 合里存在至少一个长条形热斑目标， 则 分类结果是长条形热斑故障组件； 若同时不满足上 述条件， 则分类结果 为小型热斑故障组件。 6.一种基于 YOLOv5的光伏板红外图像热斑 检测系统， 其特 征在于， 包括下述模块： 获取原始数据集模块， 用于使用无人机获取生产运行中的光伏组件红外 图像， 得到原 始数据集； 数据预处理模块， 用于提取所述原始数据集中 图像的光伏组件区域， 得到子图像， 对所 述子图像中的热斑区域进行标注， 得到光伏组件热斑数据集； 将所述光伏组件热斑数据集 按照预设比例分为训练集和 测试集， 并对所述训练集进行 数据扩充； 训练改进YOLOv5模型模块， 用于构建改进YOLOv5模型， 使用所述训练集对其进行训练 以及使用所述测试集对其进行测试， 选取其中检测精度最高的模型作为训练好的改进 YOLOv5模型； 其中， 所述改进YOLOv5模型包括三个部分： Backbone、 Neck和Prediction； Backbone采取了Focus结构与CSP结构， Neck中采用FPN和PAN结构， 并分别加入卷积块注意 力模块CBAM， 在Predicti on的预测结果使用GIOU损失函数 更新整个模型参数； 光伏组件分类模块， 用于使用训练好的改进YOL