(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210176075.X (22)申请日 2022.02.25 (71)申请人 南京南瑞继保电气有限公司 地址 211102 江苏省南京市江宁区苏源大 道69号 申请人 南京南瑞继保工程 技术有限公司 (72)发明人 曾凯　李响　陈宏君　文继锋　 洪礼鑫　张磊　熊蕙　张纲　 杨丰毓　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 刘莎 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/22(2022.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于自注意力机制的开关分合状态识 别方法 (57)摘要 本发明公开一种基于自注意力机制的开关 分合状态识别方法， 在YOLOv5基础上， 结合Swin   Transformer网络和FPT网络构建SwF ‑YOLOv5目 标检测网络结构； 利用训练样本库对SwF ‑YOLOv5 目标检测网络结构进行训练， 得到开关分合状态 的检测模型文件； 将待检测图片输入检测模型 中， 输出图像中可用于判断分合状态的分合关键 标识矩形区域； 采用基于重叠度的判别算法， 得 到待检测图像所表示的开关分合状态。 本发明方 法在基准YOL Ov5网络的基础上， 考虑自注意力机 制在建模能力、 关联信息提取等方面相较于卷积 神经网络的优势， 构建了SwF ‑YOLOv5目标检测网 络， 该网络最大特点是融合了自注意力机制， 相 较于基准YOLOv5网络拥有更强大的建模能力和 更高的检测精度， 更适合于处理复杂场景下的检 测任务， 具有一定的应用价 值。 权利要求书2页 说明书7页 附图2页 CN 114596487 A 2022.06.07 CN 114596487 A 1.一种基于自注意力机制的开关 分合状态 识别方法， 其特 征在于， 包括： S1： 基于变电站开关分合指示器的图像样本以及对应的人工标注信息， 构建训练样本 库， 所述人工标注信息包括分合关键标识矩形区域的坐标信息和分类信息， 所述分类信息 包括分合关键标识矩形区域所属类别是分开、 闭合或指针， 所述坐标信息包括分合关键标 识矩形区域的左上角坐标及宽、 高信息； S2： 选定YOLOv5网络作为基准网络， 将该基准网络 的骨干特征提取子网络替换为Swin   Transformer自注 意力机制网络， 将该基准网络的颈部特征融合子网络替换为FPT特征金字 塔网络， 将Swin  Transformer 网络中最后三层多尺度特征图输出分别连接至FPT网络的三 个输入节点， 构成SwF ‑YOLOv5目标检测网络结构； S3： 利用训练样本库对S2中的SwF ‑YOLOv5目标检测网络进行训练， 得到检测模型文件； S4： 将待检测图像输入至检测模型文件中， 得到待检测图像的分合关键标识矩形区域 的坐标信息和分类信息； 进而采用基于重叠度的判别算法， 判别待检测图像所标识出 的开 关分合状态。 2.根据权利要求1所述的一种基于自注意力机制的开关分合状态识别方法， 其特征在 于， 所述步骤S1中基于专 家经验标注各图像样本的人工标注信息 。 3.根据权利要求2所述的一种基于自注意力机制的开关分合状态识别方法， 其特征在 于， 利用开源图像标注工具、 基于专家经验对各图像样本中分合关键标识矩形区域进行人 工标注， 得到jso n格式的标注文件； 用python脚本将json格式的标注文件转换为YOLOv5算法支持的归一化的txt格式文 件， 并采用4： 1的比例随机在训练样本库中划分出训练集和 测试集。 4.根据权利要求3所述的一种基于自注意力机制的开关分合状态识别方法， 其特征在 于， 利用python脚本统计各类别的分合关键标识矩形区域数量， 针对数量少于设定阈值的 类别采取重新采集图像样本或者在原有图像样本上利用数据增强技术进行变换的方式对 训练样本库进行扩充。 5.根据权利要求3所述的一种基于自注意力机制的开关分合状态识别方法， 其特征在 于， 所述步骤S3中包括： 步骤S31： 在GPU服务器上搭建模型训练环境， 利用训练集对SwF ‑YOLOv5网络中进行训 练， 得到用于识别图像中分合关键标识 矩形区域的中间检测模型文件； 步骤S32： 利用测试集对所述中间模型文件进行验证， 包括： 若验证结果不符合设定要 求， 则对训练样本库中各样 本图像进 行优化标注， 重新建立训练集和测试集， 返回步骤S 31， 直至验证结果符合设定要求， 则将中间检测模型文件作为 最终的检测模型文件。 6.根据权利要求1所述的一种基于自注意力机制的开关分合状态识别方法， 其特征在 于， 所述步骤S4中采用基于重叠度的判别算法， 判别待检测图像所标识的开关分合状态的 结果包括： 分开、 闭合、 未知三类。 7.根据权利要求6所述的一种基于自注意力机制的开关分合状态识别方法， 其特征在 于， 所述步骤S4中采用基于重叠度的判别算法， 判别待检测图像所标识的开关分合状态， 包 括以下两种情况： (1)待检测图像中存在所属类别是 “指针”的分合关键标识 矩形区域的情况 a)如果待检测图像中所属类别是 “分开”、“闭合”的分合关键标识矩形区域都不存在，权　利　要　求　书 1/2 页 2 CN 114596487 A 2则判别待检测图像所 标识的开关 分合状态为未知； b)如果待检测图像 中不存在所属类别是 “分开”的分合关键标识矩形区域、 只存在所属 类别是“闭合”的分合关键标识矩形区域， 则计算分别所属类别是 “指针”的分合关键标识矩 形区域与所属类别是 “闭合”的分合关键标识矩形区域的面积重叠率， 若计算所得结果中任 意一个大于零则判别待检测图像所标识的开关分合状态为闭合， 若计算所得结果均小于等 于零则判别待检测图像所 标识的开关 分合状态为未知； c)如果待检测图像 中不存在所属类别是 “闭合”的分合关键标识矩形区域、 只存在所属 类别是“分开”的分合关键标识矩形区域， 则分别计算所属类别是 “指针”的分合关键标识矩 形区域与所属类别是 “分开”的分合关键标识矩形区域的面积重叠率， 若计算所得结果中任 意一个大于零则判别待检测图像所标识的开关分合状态为分开， 若计算所得结果均小于等 于零则判别待检测图像所 标识的开关 分合状态为未知； d)如果待检测图像中所属类别是 “分开”、“闭合”的分合关键标识矩形区域都存在， 则 分别计算所属类别是 “指针”的分合关键标识矩形区域与所属类别是 “分开”的分合关键标 识矩形区域的面积重叠率， 并取计算所得结果中的最大值记为radio分； 分别计算所属类别 是“指针”的分合关键标识矩形区域与所属类别是 “闭合”的分合关键标识矩形区域的面积 重叠率， 并取计算所 得结果中的最大值记为radi o合： d1)如果radi o分＝0且radi o合≠0， 则判别待检测图像所 标识的开关 分合状态为闭合； d2)如果radi o合＝0且radi o分≠0， 则判别待检测图像所 标识的开关 分合状态为分开； d3)如果radi o合＝0且radi o分＝0， 则判别待检测图像所 标识的开关 分合状态为未知； d4)如果radio分≠0开radio合≠0， 则对所属类别是 “指针”的分合关键标识矩形区域进 行以下处理： 先进行灰度化、 腐蚀处理， 然后提取 “指针”对象的轮廓， 并计算出最小外接矩 形， 再后根据最小外接矩形的角度判断指 针的位置、 结合所属类别是 “分开”、“闭合”的分合 关键标识 矩形区域的坐标信息， 判断待检测图像所 标识的开关 分合状态； (2)待检测图像中不存在所属类别是 “指针”的分合关键标识区域的情况 分别统计待检测图像中所属类别是 “分开”的分合关键标识矩形区域个数、 所属类别是 “闭合”的分合关键标识 矩形区域个数： a)所属类别是 “分开”的分合关键标识矩形区域个数超过所属类别是 “闭合”的分合关 键标识矩形区域个数， 则判别待检测图像所 标识的开关 分合状态为分开； b)所属类别是 “闭合”的分合关键标识矩形区域个数超过所属类别是 “分开”的分合关 键标识矩形区域个数， 则判别待检测图像所 标识的开关 分合状态为闭合； c)所属类别是 “分开”的分合关键标识矩形区域个数等于所属分类是 “闭合”的分合关 键标识矩形区域个数， 则判别待检测图像所 标识的开关 分合状态为未知。 8.根据权利要求6所述的一种基于自注意力机制的开关分合状态识别方法， 其特征在 于， 两个分合关键标识矩形区域S1和S2的面积重叠率的计算方法公式为： ratio＝(S1∩ S2)/(S1∪S2)， 其中， S1∩S2表示S1和S2 重叠部分的面积， S1∪S2表示S1和S2重叠后形成的 面积。权　利　要　求　书 2/2 页 3 CN 114596487 A 3