(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221024325 6.X (22)申请日 2022.03.11 (71)申请人 广州中科智巡科技有限公司 地址 510060 广东省广州市越秀区东 风东 路765、 767、 769号1408-1409房 (72)发明人 范亮　汤坚　张磊　郑路铭　 王秋媚　 (74)专利代理 机构 广州三辰专利事务所(普通 合伙) 44227 专利代理师 陈惠珊 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种引入注意力机制的输电线路螺栓脱销 缺陷检测方法 (57)摘要 本发明公开了一种引入注意力机制的输电 线路螺栓脱销缺陷检测方法， 能够用于在无人机 平台上高效运行。 该方法包括S1:基于无人机影 像分拣标注获得输电线路螺栓脱销缺陷数据集； S2:预处理所述数据集， 对数据进行清洗， 使数据 集内正常螺栓和脱销螺栓的样本数量符合1:1的 比例， 并将数据集按照4:1比例划分出训练集和 测试集； S3:搭建注意力机制改进的FCOS模型， 所 述FCOS模型包括： 主干网络、 特征金字塔网络和 引入注意力机制改进Head； S4:利用所述训练集 对模型进行迭代训练， 根据收敛效果确定模型； S5:利用测试集进行测试， 通过性能指标对比， 得 到最优的螺 栓脱销缺陷检测模型。 权利要求书3页 说明书8页 附图1页 CN 114677339 A 2022.06.28 CN 114677339 A 1.一种引入注意力机制的输电线路螺 栓脱销缺陷检测方法， 其特 征在于， 包括： S1:基于无 人机影像分拣标注获得输电线路螺 栓脱销缺陷数据集； S2:预处理所述数据集， 对数据进行清洗， 使数据集内正常螺栓和脱销螺栓的样本数量 符合1:1的比例， 并将数据集按照4:1比例划分出训练集和 测试集； S3:搭建注意力机制改进的FCOS模型， 所述FCOS模型包括： 主干网络、 特征金字塔网络 和引入注意力机制改进Head； S4:利用所述训练集对 模型进行迭代训练， 根据收敛效果确定模型； S5:利用测试集进行测试， 通过性能指标对比， 得到最优的螺 栓脱销缺陷检测模型。 2.根据权利要求1所述的引入注意力机制的输电线路螺栓脱销缺陷检测方法， 其特征 在于： 步骤S1包括通过无人机巡检输电线路的电力塔架来采集图像数据， 所述图像数据中包 含正常螺栓和脱销螺栓， 挑选出塔架上含有脱销螺栓的图像， 获取输电线路螺栓脱销缺陷 数据集。 3.根据权利要求1所述的引入注意力机制的输电线路螺栓脱销缺陷检测方法， 其特征 在于： 步骤S1包括利用标注工具， 对图像中的正常螺栓和脱销螺栓进行标注， 标注的信息包 含类别名称和位置信息， 并以VOC数据格式保存成xml标签文件。 4.根据权利要求1所述的引入注意力机制的输电线路螺栓脱销缺陷检测方法， 其特征 在于： 所述主干网络为ResNet ‑50包括5个卷积模块记为Conv1、 Conv12 ……Conv5， 模块输出 的特征图分别命名为Ci， i＝1， 2， 3， 4， 5， 每个模块在输出时， 将当前特征的分辨率下采样至 输入的1/2， 同时其通道数扩大2倍， 其中， 用于输入FPN的特征图C3、 C4、 C5的通道数分别是 512、 1024、 2048。 5.根据权利要求4所述的引入注意力机制的输电线路螺栓脱销缺陷检测方法， 其特征 在于： 所述特征金字塔网络为FPN网络； 选 取C3、 C4、 C5作为输入， 其中C5通过通道调整后直接输 出， 命名为P5， 同时经过2 次3×3卷积， 生成的特征图分别记为P6、 P7； 此外， C5还经过1×1卷 积调整通道数与C4一致后， 通 过2倍最近邻上采样生成与C4相同分辨率的特征图， 随后， 二者 按对应元素相加， 再进行一次3 ×3卷积， 得到P4； 同理可得P3， 最终得到输出特征通道均为 256的特征图P3、 P4、 P5、 P6、 P7。 6.根据权利要求5所述的引入注意力机制的输电线路螺栓脱销缺陷检测方法， 其特征 在于： 所述主干网络包括DLA ‑34网络或者优于所述ResNet ‑50网络的先进全面的主干网络； 所述特征金字塔网络包括BiFPN网络或者比FPN网络更加先进全面的特 征金字塔网络 。 7.根据权利要求5所述的引入注意力机制的输电线路螺栓脱销缺陷检测方法， 其特征 在于： 所述注意力机制改进Head； 面向P4、 P5、 P6生成3个注意力机制改进后的Head， 每个Head 均共享权值， Head以特征图Px和其相邻的两个特征图Px‑1和Px+1作为输入， 并采用3个不同的 形变卷积进行几何变换计 算， 其中， Px‑1的分辨率 是Px的2倍， 为使输出 分辨率与Px一致， 将其权　利　要　求　书 1/3 页 2 CN 114677339 A 2对应形变卷积的步长stride设置为2， 而Px+1的分辨率是Px的二分之一， 则需要先通过2倍最 近邻上采样生成与Px相同分辨率的特征图， 再进行形变卷积运算； 通过形变卷积后， 在相同 空间位置上进行多层次特 征聚合； 注意力的实现共分为Squeeze、 Excitation、 特征重标定和信息融合四个过程； 通过 Squeeze操作对 特征进行压缩， 输入的3层特征经过平均池化采样后得到3 ×1×1×256维度 的张量； Excitation操作再将张量通过1 ×1的卷积层改变通道数为1， 经过Relu和Hard   Sigmoid激活函数后生成相应的权重； 在特征重标定过程中将原先的三层特征与相应权重 求积获得具有尺度自适应的3层特征图； 最后通过Mean操作求平均值， 融合三层不同尺度的 特征信息， 使模 型能够根据语义重要性的不同动态地融合特征， 输出H ×W×256维度的特征 图Hx。 8.根据权利要求1所述的引入注意力机制的输电线路螺栓脱销缺陷检测方法， 其特征 在于： 步骤S4包括： 在物理电脑平台Windows上使用输电线路螺栓脱销缺陷数据集中的训练 集训练改进后的FCOS模型， 模型训练采用自适应矩估计优化器作为网络的训练优化策 略， 共训练10 0轮次； 学习率从0.0 01开始动态调整， 每一轮次更新完成后， 学习率乘以0.9； 观察训练损失LOSS的变化， 当LOSS值连续5个轮次没有下降的时候， 停止训练， 获取收 敛效果最好的模型。 9.根据权利要求1所述的引入注意力机制的输电线路螺栓脱销缺陷检测方法， 其特征 在于： 步骤S5包括： 在模拟无人机Linux或者RaspberryPi平台上使用输电线路螺栓脱销缺 陷 数据集中的测试集测试改进后的FCOS模型； 采用精度PA、 召回率RA、 mAP(mean  Average Precision)、 FPS(Frames  Per Second)和 FLOPs(Floating  Point Operations)作为模型测试的性能指标； 精度和召回率的定义公式 为： 上式中： xTP， A表示A类中被正确识别的目标； xFP， A表示A类中被错误识别为正例的目标； xFN， A表示A类中未正确 识别的正例； PA表示对于所有识别为类别A的目标中正确 识别的目标 占比； RA表示图片中所有类别为A的目标 中被正确识别的目标占比； 置信度是某个目标属于 类别A的概 率。 10.根据权利要求9所述的引入注意力机制的输电线路螺栓脱销缺陷检测方法， 其特征 在于： 步骤S5包括： 将测试集中每个类别被检测出的目标按照置信度从高到低进行排序并绘 制该类别的精度 ‑召回率曲； 将曲线下的面积作为此类别的AP， 接着对所有类别的AP求均值权　利　要　求　书 2/3 页 3 CN 114677339 A 3