(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210937164.1 (22)申请日 2022.08.05 (71)申请人 国网河北省电力有限公司电力科 学 研究院 地址 050021 河北省石家庄市裕华区体 育 南大街238号 申请人 国家电网有限公司 　 国网河北能源技 术服务有限公司 (72)发明人 梁博渊　臧谦　田霖　刘振　 张志猛　刘良帅　侯倩　庞先海　 (74)专利代理 机构 石家庄国为知识产权事务所 13120 专利代理师 付晓娣 (51)Int.Cl. G06T 7/00(2017.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 室外绝缘子表 面缺陷识别方法、 装置及电子 设备 (57)摘要 本发明提供一种室外绝缘子表面缺陷识别 方法、 装置及电子设备。 该方法包括： 获取目标图 像； 基于预设绝缘子检测模型对目标图像中的绝 缘子进行定位， 获得包括绝缘子定位坐标的目标 图像； 将按照绝缘子定位坐标对目标图像进行裁 剪后的待识别绝缘子图像输入预设图像重建和 特征重建融合模 型， 获得待识别绝缘子图像与正 常绝缘子图像的第一差异特征图和待识别绝缘 子图像的特征与正常绝缘子图像的特征的第二 差异特征图； 对第一差异特征图和第二差异特征 图进行融合， 并对融合后的特征图进行阈值分 割， 根据分割结果确定对应绝缘子的表面缺陷识 别结果。 本发 明能够自动对高压电力系统和室外 高速铁路牵引变电系统中的绝缘子进行准确快 速的表面 缺陷识别。 权利要求书2页 说明书10页 附图2页 CN 115272262 A 2022.11.01 CN 115272262 A 1.一种室外绝 缘子表面 缺陷识别方法， 其特 征在于， 包括： 获取目标图像； 所述目标图像为包括 绝缘子且待 进行表面 缺陷识别的图像； 基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位， 获得包括绝缘子定位 坐标的目标图像； 将按照所述绝缘子定位坐标对所述目标图像进行裁剪后的待识别绝缘子图像输入预 设图像重建和特征重建融合模型， 获得所述待识别绝缘子图像与正常绝缘子图像的第一差 异特征图和所述待识别绝 缘子图像的特 征与正常绝 缘子图像的特 征的第二差异特 征图； 对所述第一差异特征图和所述第 二差异特征图进行融合， 并对融合后的特征图进行阈 值分割， 根据分割结果确定对应绝 缘子的表面 缺陷识别结果。 2.根据权利要求1所述的室外绝缘子表面缺陷识别方法， 其特征在于， 所述预设绝缘子 检测模型， 包括： 第一特征提取网络、 特征融合网络、 特征注意网络、 候选区域生成网络、 分 类与边界框回归网络； 所述第一特征提取网络， 用于对所述目标图像进行不同尺度的特征提取， 获得所述目 标图像不同尺度的提取 特征图； 所述特征融合网络， 用于对所述目标图像不同尺度的提取特征图进行特征融合， 获得 所述目标图像的多尺度融合特 征图； 所述特征注意网络， 用于对所述多尺度融合特征图中不同通道的特征进行加权， 获得 加权后的多尺度融合特 征图； 所述候选区域生成网络， 用于按照所述加权后的多尺度融合特征图进行候选区域生 成， 获得含绝 缘子概率较高的各个候选区域及对应的候选区域特 征； 所述分类与边界框回归网络， 用于对各个候选区域特征进行分类， 并对各个候选区域 进行回归， 将损失最小的候选区域的坐标确定为所述目标图像的绝 缘子定位坐标。 3.根据权利要求2所述的室外绝缘子表面缺陷识别方法， 其特征在于， 所述预设绝缘子 检测模型的训练过程包括： 将训练集中的各幅训练图像依次输入所述第一特征提取网络、 所述特征融合网络、 所 述特征注意网络、 所述 候选区域 生成网络、 所述分类与边界框回归网络中； 基于所述分类与边界框回归 网络中输出的各幅训练图像的绝缘子定位预测边框、 各幅 训练图像的绝缘子定位真实边框和IoU损失函数， 对所述特征注意网络中不同通道的权重 和所述候选区域生 成网络中生 成的候选区域进 行迭代训练， 当所述IoU损失函数收敛时， 获 得训练完成的预设绝 缘子检测模型。 4.根据权利要求3所述的室外绝缘子表面缺陷识别方法， 其特征在于， 所述训练集中每 幅训练图像中的绝 缘子的角度不同； 基于所述分类与边界框回归 网络中输出的各幅训练图像的绝缘子定位预测边框、 各幅 训练图像的绝缘子定位真实边框和IoU损失函数， 对所述候选区域生成网络中生成的候选 区域进行迭代训练， 包括： 基于所述分类与边界框回归网络中输出的各幅训练图像的绝缘子定位预测边框的边 框旋转角、 各幅训练图像的绝缘子定位真实边框的边框旋转角和IoU损失函数， 对 所述候选 区域生成网络中生成的候选区域进行迭代训练； 所述基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位， 获得包括绝缘子权　利　要　求　书 1/2 页 2 CN 115272262 A 2定位坐标的目标图像， 包括： 基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位， 获得包括边框旋转角 的绝缘子定位坐标的目标图像； 所述将按照所述绝缘子定位坐标对所述目标图像进行裁剪后的待识别绝缘子图像输 入预设图像重建和特 征重建融合模型， 包括： 将按照所述绝缘子定位坐标中的边框旋转角旋转， 并按照所述绝缘子定位坐标裁剪后 的待识别绝 缘子图像输入预设图像重建和特 征重建融合模型。 5.根据权利要求1所述的室外绝缘子表面缺陷识别方法， 其特征在于， 所述预设图像重 建和特征重建融合模型， 包括： 图像重建网络， 第二特 征提取网络和特 征重建网络； 所述图像重建网络， 用于对所述待识别绝缘子 图像进行重建， 获得所述待识别绝缘子 图像与正常绝 缘子图像的第一差异特 征图； 所述第二特 征提取网络， 用于对所述待识别绝 缘子图像进行 特征提取； 所述特征重建网络， 用于对提取的所述待识别绝缘子 图像的特征进行重建， 获得所述 待识别绝 缘子图像的特 征与正常绝 缘子图像的特 征的第二差异特 征图。 6.根据权利要求1所述的室外绝缘子表面缺陷识别方法， 其特征在于， 所述对所述第 一 差异特征图和所述第二差异特 征图进行融合， 包括： 根据E＝W1E1+W2E2， 对所述第一差异特 征图和所述第二差异特 征图进行融合； 其中， E为融合后的特征图， W1为所述第一差异特征图的权重， E1为所述第一差异特征 图， W2为所述第二差异特 征图的权 重， E2为所述第二差异特 征图。 7.根据权利要求1所述的室外绝缘子表面缺陷识别方法， 其特征在于， 所述对融合后的 特征图进行阈值分割， 根据分割结果确定对应绝 缘子的表面 缺陷识别结果， 包括： 基于大律阈值分割方法对融合后的特征图的前景和背景进行分割， 根据分割结果中的 前景区域确定对应绝 缘子是否存在表面 缺陷及表面 缺陷的位置 。 8.一种室外绝 缘子表面 缺陷识别装置， 其特 征在于， 包括： 获取模块， 用于获取目标图像； 所述目标图像为包括绝缘子且待进行表面缺陷识别的 图像； 定位模块， 用于基于预设绝缘子检测模型对所述目标图像中的绝缘子进行定位， 获得 包括绝缘子定位坐标的目标图像； 第一识别模块， 用于将按照所述绝缘子定位坐标对所述目标图像进行裁剪后的待识别 绝缘子图像输入预设图像重 建和特征重 建融合模型， 获得所述待识别绝缘子图像与正常绝 缘子图像的第一差异特征图和所述待识别绝缘子图像的特征与正常绝缘子图像的特征的 第二差异特 征图； 第二识别模块， 用于对所述第一差异特征图和所述第二差异特征图进行融合， 并对融 合后的特 征图进行阈值分割， 根据分割结果确定对应绝 缘子的表面 缺陷识别结果。 9.一种电子设备， 其特征在于， 包括存储器和处理器， 所述存储器用于存储计算机程 序， 所述处理器用于调用并运行所述存储器中存储的计算机程序， 执行如权利要求1至7中 任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如上的权利要求1至7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115272262 A 3