(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210912343.X (22)申请日 2022.07.30 (71)申请人 南京理工大 学紫金学院 地址 210023 江苏省南京市栖霞区文澜路 89号 (72)发明人 帅辉明　高誌怡　王梦彦　刘晨曦　 陈琳琳　朱娴　刘飞宇　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 刘子奇 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 30/14(2022.01) G07C 3/00(2006.01) G06Q 50/06(2012.01) (54)发明名称 一种基于计算机视觉的电力压板开关巡检 方法 (57)摘要 本发明公开了一种基于计算机视觉的电力 压板开关巡检方法， 包括： 采集单帧图像， 并获取 所述单帧图像上多个压板开关的位置、 开关状 态、 贴纸种类以及开关底部标签的种类； 获取开 关底部标签的文本信息， 并构建YOL Ov3算法将压 板开关与其对应的标签、 贴纸关联输出； 采用校 验算法判断巡检前后开关状态、 标签 贴纸信息是 否变化； 依据校验反馈结果完成对电力压板开关 的巡检。 无需手动录入开关数量信息， 直接一站 式拍摄加检测， 即可准确得到结果； 除了检测开 关还有其标签种类， 还对标签上的文字进行了 OCR检测， 可以直接获得文本内容， 不必手动输 入， 减少了 工人的工作量。 权利要求书2页 说明书8页 附图1页 CN 115424121 A 2022.12.02 CN 115424121 A 1.一种基于计算机 视觉的电力压 板开关巡检方法， 其特 征在于， 包括： 采集单帧图像， 并获取所述单帧图像上多个压板开关的位置、 开关状态、 贴纸种类以及 开关底部标签的种类； 获取开关底部标签的文本信息， 并构建YOLOv3算法将压板开关与其对应的标签、 贴纸 关联输出； 采用校验算法判断巡检前后开关状态、 标签贴纸信息是否变化； 依据校验反馈结果完成对电力压 板开关的巡检。 2.如权利要求1所述的基于计算机视觉的电力压板开关巡检方法， 其特征在于： 所述 YOLOv3算法包括， 利用Mobi leNetv1神经网络对所述单帧图像进行 特征提取； 将所述单帧图像划分为多个区域， 并预测所述单帧图像的边界框和每个区域的概率 值。 3.如权利要求2所述的基于计算机视觉的电力 压板开关巡检方法， 其特征在于： 所述开 关底部标签的文本信息的获取包括， 利用Mobi leNetV3 Small网络作为backbo ne实现对单帧图像特 征序列的提取； 使用RNN结构作为循环层来预测从卷积层获取的所述单帧图像特 征序列的标签分布； 使用CTC作为转录层,将从循环层获取到的标签分布通过去重整合等操作转换成最终 的识别结果。 4.如权利要求1～3任一所述的基于计算机视觉的电力压板开关巡检方法， 其特征在 于： 所述压 板开关与其对应的标签、 贴纸关联输出包括， 将所述文本信息划分为标签、 开关和贴纸， 并将所述文本信息存放在三个数组中； 每个数组中都包含位置、 种类信息， 此外开关数组中还包括标签、 贴纸、 贴纸位置这三 个属性。 5.如权利要求4所述的基于计算机视觉的电力 压板开关巡检方法， 其特征在于： 所述压 板开关与其对应的标签、 贴纸关联输出还 包括， 判断是否出现漏检的情况， 并获取 所有开关的位置信息 。 6.如权利要求5所述的基于计算机视觉的电力 压板开关巡检方法， 其特征在于： 若未出 现漏检， 则遍历每一个所述 开关数组， 并设置第一个开关； 以所述第 一个开关为基准， 遍历所有的开关目标， 若第 一个开关在 y轴上的中值是在这 个目标的上边界和下边界的值之间， 则这个目标是和第一个开关是同一排的开关， 并根据 这个目标的x坐标进行排序， 活动的第一 排开关的全部相对位置信息 。 7.如权利要求6所述的基于计算机视觉的电力压板开关巡检方法， 其特征在于： 还包 括， 遍历所有的标签数组， 计算每一个标签和开关底部中心 的距离， 将标签和距离这个标 签最近的开关相关联， 以此类 推， 把标签的信息并入开关数组； 遍历所有的贴纸数组， 计算每一个贴纸和开关上部中心 的距离， 将贴纸和距离这个贴 纸最近的开关相关联， 以此类 推， 把贴纸的信息并入开关数组； 遍历开关时跳过已经有坐标的开关， 获取到所有开关的位置信息 。 8.如权利要求7所述的基于计算机视觉的电力 压板开关巡检方法， 其特征在于： 若出现权　利　要　求　书 1/2 页 2 CN 115424121 A 2漏检， 则利用捡漏算法查找漏检情况； 若左边和右边相邻的开关间距大于一个开关搞的1.65倍， 则认为中间存在漏检情况， 要插入一个值为 “null”的开关， 表示未能成功检测， 并提醒用户人工检查并手动添加信息， 若不存在漏检的情况， 则需要调整好 规范角度重新拍摄。 9.如权利要求8所述的基于计算机视觉的电力 压板开关巡检方法， 其特征在于： 所述校 验算法包括， 对巡检前后拍摄的单帧图像进行检测识别， 并返回巡检前后每个开关、 标签与贴纸的 信息json识别结果， 比较两个jso n文件中开关总数 是否相同。 10.如权利要求9所述的基于计算机视觉的电力压板开关巡检方法， 其特征在于： 所述 校验算法还 包括， 若开关总数相同， 比较在两个json文件中行列坐标相同的开关的种类是否相同， 判断 巡检前后开关状态是否变化； 检测完成后输出巡检前后开关状态、 标签贴纸信息以及开关 状态是否变化， 实现开关检测自动校检； 如果开关总数不同， 则需巡检人员重新拍摄巡检后的图片， 重新进行检测或人工校验。权　利　要　求　书 2/2 页 3 CN 115424121 A 3