(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210856153.0 (22)申请日 2022.07.21 (65)同一申请的已公布的文献号 申请公布号 CN 115082432 A (43)申请公布日 2022.09.20 (73)专利权人 北京中拓新源科技有限公司 地址 102200 北京市昌平区回龙观镇 立业 路6号院1号楼1516室(昌平示范园) (72)发明人 李庆光　尹哲　刘晓平　杨建波　 张文杰　 (74)专利代理 机构 北京睿博行远知识产权代理 有限公司 1 1297 专利代理师 吕林凤 (51)Int.Cl. G06T 7/00(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06T 7/10(2017.01) G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G01N 21/88(2006.01) (56)对比文件 CN 112101437 A,2020.12.18 CN 113034456 A,2021.0 6.25 CN 114677339 A,202 2.06.28 JP H1149334 A,1999.02.23 审查员 林芳 (54)发明名称 基于细粒度图像分类的小目标螺栓缺陷检 测方法及装置 (57)摘要 本发明公开一种基于细粒度图像分类的小 目标螺栓缺陷检测方法及装置。 本发 明涉及缺陷 检测技术领域， 解决现有螺栓缺陷方法迭代效率 低， 计算复杂， 漏检率高的问题。 获取风电场中含 有螺栓部件的图像， 对图像中的螺栓采用检测框 进行标注， 将图像分为训练集和验证集， 输入 FCOS目标检测器中进行训练， 得到目标检测的模 型权重， 根据目标检测的模型权重推理出螺栓在 图像中的位置， 根据螺栓在图像中的位置， 将螺 栓从图像中分割出来对分割出来的螺栓进行分 类， 将分割出来的螺栓划分为训练集和验证集， 输入SE‑DenseNet201细粒度图像分类器进行训 练， 得到图像分类的模型权重， 对实时图像分类 出螺栓的缺陷类型， 降低漏检率。 权利要求书2页 说明书6页 附图2页 CN 115082432 B 2022.11.01 CN 115082432 B 1.一种基于细粒度图像分类的小目标螺 栓缺陷检测方法， 其特 征在于， 包括： 获取风电场中含有螺 栓部件的图像； 对所述图像中的螺 栓采用检测框进行 标注； 将所述图像分为训练集和验证集， 输入FCOS目标检测器中进行训练， 得到目标检测的 模型权重； 根据目标检测的模型权 重推理出螺 栓在图像中的位置； 根据螺栓在图像中的位置， 将螺 栓从图像中分割出来； 对分割出来的螺 栓进行分类， 分为螺 栓锈蚀、 螺 栓松动和螺 栓正常； 将分割出来的螺栓划分为训练集和验证集， 输入SE ‑DenseNet201细粒度图像分类器进 行训练， 得到图像分类的模型权 重； 获取风电场中设备的实时图像； 将实时图像输入FCOS目标检测器， 利用FCOS目标检测器训练出的模型权重推理出螺栓 的位置信息， 从而将螺栓分割出来； 再将分割出来的螺栓输入SE ‑DenseNet201图像分类器 训练出的模型权 重中， 分类出螺 栓的缺陷类型。 2.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法， 其特征在于， 将分割出来的螺栓输入SE ‑DenseNet201图像 分类器训练出的模 型权重中， 分类出螺栓的缺 陷类型之后， 所述方法还 包括： 如果分类结果是螺栓锈蚀， 根据螺栓的位置信 息， 将其用矩形框标出位置， 并标记为螺 栓锈蚀； 如果分类结果是螺栓松动， 根据螺栓的位置信 息， 将其用矩形框标出位置， 并标记为螺 栓松动； 如果分类结果是螺 栓正常， 不做任何标记。 3.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法， 其特征在于， 对所述图像中的螺 栓采用检测框进行 标注之后， 所述方法还 包括： 将所述图像转为灰度图像， 以便将螺栓锈蚀的颜色特征去除掉， 使得FCOS目标检测器 专注于学习螺 栓的形状特 征。 4.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法， 其特征在于， 获取风电场中设备的实时图像之后， 所述方法还 包括： 将所述实时图像转为灰度图像， 以便将螺栓锈蚀的颜色特征去除掉， 使得FCOS目标检 测器专注于学习螺 栓的形状特 征。 5.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法， 其特征在于， 将所述图像分为训练集和验证集， 输入FCOS目标检测 器中进行训练， 得到目标检测的模型 权重包括： 将图像按9： 1划分为训练集和验证集； 将训练集和验证集输入FCOS目标检测器中进行训练， 得到目标检测的模型权重， 所述 FCOS目标检测器 基于Anchor‑free实现。 6.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法， 其特征在于， 根据螺栓在图像中的位置， 将螺 栓从图像中分割出来包括： 利用opencv软件库将螺 栓从图像中分割出来。权　利　要　求　书 1/2 页 2 CN 115082432 B 27.如权利要求1所述的基于细粒度图像分类的小目标螺栓缺陷检测方法， 其特征在于， 将分割出来的螺栓划分为训练集和验证集， 输入S E‑DenseNet201细粒度图像 分类器进 行训 练， 得到图像分类的模型权 重包括： 将分割出来的螺 栓按9： 1划分为训练集和验证集； 将训练集和验证集输入SE ‑DenseNet201细粒度图像分类器进行训练， 得到图像分类的 模型权重， DenseNet201图像分类器加 入即插即用的注意力机制SeNet 网络， 构成基于视觉 注意模型的SE ‑DenseNet 201细粒度图像分类 器。 8.一种基于细粒度图像分类的小目标螺 栓缺陷检测装置， 其特 征在于， 包括： 获取单元， 用于获取风电场中含有螺 栓部件的图像； 标注单元， 用于对所述图像中的螺 栓采用检测框进行 标注； 第一训练单元， 用于将所述图像分为训练集和验证集， 输入FCOS目标检测器中进行训 练， 得到目标检测的模型权 重； 推理单元， 用于根据目标检测的模型权 重推理出螺 栓在图像中的位置； 分割单元， 用于根据螺 栓在图像中的位置， 将螺 栓从图像中分割出来； 分类单元， 用于对分割出来的螺 栓进行分类， 分为螺 栓锈蚀、 螺 栓松动和螺 栓正常； 第二训练单元， 用于将分割出来的螺栓划 分为训练集和验证集， 输入SE ‑DenseNet201 细粒度图像分类 器进行训练， 得到图像分类的模型权 重； 所述获取 单元， 还用于获取风电场中设备的实时图像； 输入单元， 用于将实时图像输入FCOS目标检测器， 利用FCOS目标检测器训练出的模型 权重推理出螺栓的位置信息， 从而将螺栓分割出来； 再将分割出来的螺栓输入SE ‑ DenseNet 201图像分类 器训练出的模型权 重中， 分类出螺 栓的缺陷类型。权　利　要　求　书 2/2 页 3 CN 115082432 B 3