(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210377260.5 (22)申请日 2022.04.12 (71)申请人 星逻人工智能技 术 （上海） 有限公司 地址 200131 上海市浦东 新区中国(上海) 自由贸易试验区临港新片区海洋一路 333号1号楼、 2号楼 (72)发明人 肖素枝　胡金磊　钱茂冬　王海滨　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 基于双光融合的光伏 面板缺陷检测方法、 系 统、 设备和计算机可读存 储介质 (57)摘要 本发明提供了一种基于双光融合的光伏面 板缺陷检测方法、 系统、 设备和计算机可读存储 介质。 通过本申请提出的技术方案， 能够同时利 用无人机获取的可见光图像和热成像图像实现 对光伏面板安装区域进行高速自动化巡检， 具体 地， 通过改进的目标检测算法对双光图像分别进 行检测， 将基于可见光图像的缺陷检测算法的结 果与目标组件的热斑温度、 平均温度相结合， 从 而对于光伏 面板缺陷均能够实现及时检出。 在双 光图像融合的过程中， 克服了双光相机的拍摄偏 差， 同时实现了对于缺陷面板的精准定位， 能够 自动生成包含缺陷检测 信息、 缺陷定位信息以及 图像融合信息的自动化定制报告， 适应于光伏电 站的精细化 运维需求， 具有可推广价 值。 权利要求书2页 说明书11页 附图4页 CN 114881931 A 2022.08.09 CN 114881931 A 1.一种基于双光融合的光伏面板缺陷检测方法， 其特征在于， 用于根据无人机拍摄获 取的热成像图像数据和可 见光图像数据对 存在缺陷的光伏面板进行检测 和定位； 所述光伏面板缺陷检测方法包括： 获取所述热成像图像数据和所述可 见光图像数据； 对所述热成像图像数据进行热成像缺陷检测获取对应的第 一检测结果， 以及对所述可 见光图像数据进行 可见光缺陷检测获取对应的第二检测结果； 根据预设参数， 对所述热成像图像数据和所述可见光图像数据进行图像畸变矫正， 以 获取对应的矫 正参数； 根据所述第一检测结果、 所述第二检测结果以及所述矫正参数， 对所述热成像图像数 据和所述可 见光图像数据进行双光融合操作， 以获取光伏面板缺陷分布情况； 根据所述光伏面板缺陷分布情况， 获取存在缺陷的所述光伏面板的实际缺陷分布位 置； 根据所述第一检测结果、 所述第二检测结果以及所述实 际缺陷分布位置， 生成关联于 存在缺陷的所述 光伏面板的缺陷检测报告。 2.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法， 其特征在于， 在对所述 热成像图像数据进行 热成像缺陷检测获取对应的第一检测结果的过程中， 还 包括： 于所述热成像图像数据中， 基于yo lact算法获取每 个所述光伏面板的图像掩膜； 对每个所述图像掩膜对应的最大 热成像区域进行二 值化处理以获取对应的识别区域； 于所述识别区域中， 获取所述光伏面板对应的最小外接矩形， 并将所述最小外接矩形 作为所述 光伏面板对应的检测判断区域； 于所述检测判断区域中判断所述 光伏面板是否存在缺陷， 以生成所述第一检测结果。 3.如权利要求1或2所述的基于双光融合的光伏面板缺陷检测方法， 其特征在于， 所述 第一检测结果包括所述光伏面板处于正常工况以及所述光伏面板内部组件出现温度异常 工况。 4.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法， 其特征在于， 在对所述 可见光图像数据进行 可见光缺陷检测获取对应的第二检测结果的过程中， 还 包括： 对所述可见光图像数据进行图像分割以获取满足预设目标检测网络的像素要求的检 测图像； 根据所述预设目标检测网络对所述检测图像中是否存在缺陷进行检测， 以生成所述第 二检测结果。 5.如权利要求1或4所述的基于双光融合的光伏面板缺陷检测方法， 其特征在于， 所述 第二检测结果包括所述 光伏面板处于正常工况以及所述 光伏面板表面出现异常工况。 6.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法， 其特征在于， 在根据 预 设参数对所述热成像图像数据和所述可见光图像数据进行图像畸变矫正的过程中， 还包 括： 根据预设的标记热成像图像以及标记可见光图像， 获取所述热成像图像数据与所述可 见光图像数据的初始配准 参数； 根据所述标记热成像图像以及所述标记可见光图像对应的经纬度信 息， 获取所述可见 光图像数据对应的实际距离偏差；权　利　要　求　书 1/2 页 2 CN 114881931 A 2根据相机成像原理， 将所述实 际距离偏差映射至所述初始配准参数中， 以获取所述矫 正参数。 7.如权利要求1所述的基于双光融合的光伏面板缺陷检测方法， 其特征在于， 在根据 所 述光伏面板缺陷分布情况获取存在缺陷的所述光伏面板的实际缺陷分布位置的过程中， 还 包括： 获取所述无人机于拍摄过程中的飞行姿态数据以及所述无人机于拍摄过程中的实际 定位信息； 根据所述飞行姿态数据和所述实际定位信 息， 获取所述可见光图像数据中的图像像素 坐标与地理信息坐标的映射关系； 根据所述第 一检测结果和所述第 二检测结果， 在所述光伏面板出现非正常工况的情况 下， 获取所述光伏面板的图像像素坐标对应的地理信息坐标， 并将所述地理信息坐标作为 所述实际缺陷分布位置 。 8.一种基于双光融合的光伏面板缺陷检测系统， 其特征在于， 应用于如权利要求1至7 中任意一项所述的基于双光融合的光伏面板缺陷检测方法中， 用于根据无人机拍摄获取的 热成像图像数据和可 见光图像数据对 存在缺陷的光伏面板进行检测 和定位； 所述光伏面板缺陷检测系统包括： 获取单元， 用于获取 所述热成像图像数据和所述可 见光图像数据； 检测单元， 用于对所述热成像图像数据进行热成像缺陷检测获取对应的第一检测结 果， 以及对所述可 见光图像进行 可见光缺陷检测获取对应的第二检测结果； 校准单元， 用于根据预设参数， 对所述热成像图像数据和所述可见光图像数据进行图 像畸变矫 正， 以获取矫 正的第一热成像图像和第一可 见光图像； 双光融合单元， 用于根据 所述第一检测结果、 所述第 二检测结果、 所述第 一热成像图像 和所述第一可 见光图像进行双光融合操作， 以获取光伏面板缺陷分布情况； 定位单元， 用于根据所述光伏面板缺陷分布情况， 获取存在缺陷的所述光伏面板的实 际缺陷分布位置； 检测生成单元， 用于根据所述第一检测结果、 所述第二检测结果以及所述实 际缺陷分 布位置， 生成关联于存在缺陷的所述 光伏面板的缺陷检测报告。 9.一种基于双光融合的光伏面板缺陷检测设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7中任一项所述的基于双光融 合的光伏面板缺陷检测方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7中任一项 所述的基于双光融合 的光伏面板缺陷检测方法。权　利　要　求　书 2/2 页 3 CN 114881931 A 3