(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210678146.6 (22)申请日 2022.06.16 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 俞伟杰　吕辰　蔡晨晓　朱俊霖　 朱有轩　姚小文　邢宗义　邢成雷　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 薛云燕 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/141(2022.01) G06V 10/145(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/776(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进Cascade RCNN的地铁车底螺栓故 障检测方法 (57)摘要 本发明公开了一种基于改进Cascade  RCNN 的地铁车底螺栓故障检测方法， 该方法为： 搭建 图像采集系统采集图像， 并存储在服务器上， 构 建螺栓故障数据集， 进行数据增广， 将数据集随 机划分为训练集和测试集； 基于pytorch构建 Cascade RCNN网络模型， 利用可变形卷积 模块提 升Cascade  RCNN网络模型对于多形态螺栓的建 模准确性， 利用多尺度感受野扩张模块提取上下 文信息丰富小螺栓特征， 并通过协注 意力机制模 块增强信道特征； 对螺栓故障检测模 型进行训练 和测试； 用训练好的螺栓故障检测模 型进行地铁 车底螺栓故障检测。 本发明能准确识别地铁车底 螺栓状态， 提高地铁检修的准确性和可靠性， 保 障地铁的安全持续 运行。 权利要求书3页 说明书8页 附图6页 CN 115063367 A 2022.09.16 CN 115063367 A 1.一种基于改进Cascade  RCNN的地铁车底螺栓故障检测方法， 其特征在于， 包括以下 步骤： 步骤1、 搭建图像采集系统， 包括线阵相机、 补光灯、 外部触发信号生成模块和光耦 隔离 模块； 步骤2、 使用图像采集系统采集图像， 并通过光纤传输， 存 储在服务器上； 步骤3、 构建螺栓故障数据集， 剔除不符合要求的图像， 然后进行数据增广， 最后将数据 增广后的数据集随机划分为训练集和 测试集； 步骤4、 基于pytorc h构建Cascade  RCNN网络模型； 步骤5、 利用可变形卷积模块改进Cascade  RCNN网络模型， 对多形态螺栓进行建模， 利 用多尺度感受野扩张模块提取小螺栓特征， 并通过协注意力机制模块增强信道特征， 形成 螺栓故障检测模型； 步骤6、 采用步骤3所 得的训练集， 对螺 栓故障检测模型进行训练； 步骤7、 采用步骤3所 得的测试集， 对螺 栓故障检测模型进行测试。 2.根据权利要求1所述的基于改进Cascade  RCNN的地铁车底螺栓故障检测方法， 其特 征在于， 步骤1所述的搭建图像采集系统， 包括线阵相机、 补光灯、 外部触发信号生 成模块和 光耦隔离模块， 具体如下： 所述外部触发信号生成模块包括两组磁钢和PLC， 在轨道上固定两组磁钢， 两组磁钢间 距为两组车轮间距的二分之一， 使用PLC接收磁钢过车信号， 得到实时车速， 并通过PLC中的 脉冲生成模块输出PWM波的程序； 所述光耦隔离模块用于对PWM波 进行限幅； 所述线阵相机为3个， 分别布置在轨道中间、 轨道两侧； 所述线阵相机内部集成补光灯， 用于提供拍摄光源； 所述线阵相机通过限幅后的PWM波触发进行拍摄。 3.根据权利要求1所述的基于改进Cascade  RCNN的地铁车底螺栓故障检测方法， 其特 征在于， 步骤2所述的使用图像采集系统采集图像， 并通过光纤传输， 存储在服务器上， 具体 如下： 过车情况下开启补光灯， 使用带补光灯的线阵相机搭配外部触发信号生成模块和光耦 隔离模块拍摄地铁车底高清图像， 并传输给服务器进 行保存； 无车情况下关闭补光灯， 系统 进入待机状态。 4.根据权利要求1所述的基于改进Cascade  RCNN的地铁车底螺栓故障检测方法， 其特 征在于， 步骤3所述的构建螺栓故障数据集， 剔除不符合要求的图像， 然后进 行数据增广， 最 后随机划分为训练集和 测试集， 具体如下： 人工过滤掉成像质量不符合要求的图像， 通过图像平移、 翻转变换进行图像数据增广， 然后将数据增广后的数据集随机划分为训练集和 测试集， 比例为7∶ 3 。 5.根据权利要求1所述的基于改进Cascade  RCNN的地铁车底螺栓故障检测方法， 其特 征在于， 步骤4所述的基于pytorc h构建Cascade  RCNN模型， 具体如下： 配置虚拟环境， 构建Cascade  R‑CNN的网络结构， 包括特征提取网络ResNet50、 特征金 字塔网络FPN和级联检测器， 并完成初步测试。 6.根据权利要求1所述的基于改进Cascade  RCNN的地铁车底螺栓故障检测方法， 其特 征在于， 步骤5中所述的可变形 卷积模块， 具体如下：权　利　要　求　书 1/3 页 2 CN 115063367 A 2对于输出特征图上的任一位置P0的像素值y(P0)， 通过输入特征图和卷积核的运算得 到， 可变形 卷积采用的公式如下： 其中R定义卷积核的大小和扩张率， R＝{( ‑1,‑1),(‑1,0),...(0,1),(1,1)}， 定义了一 个扩张率为1的3 ×3卷积； Pn是卷积核R上的位置， w(Pn)为Pn位置上卷积核的参数， ΔPn为偏 移量， x(P0+Pn+ΔPn)表示输入特 征图上P0+Pn+ΔPn位置的像素值； 由于采样的位置变成了不规则位置， 且偏移量ΔPn是小数， 因此增加偏移量后的任 意位 置采样点p的像素值x(p)通过 下式进行计算： x(p)＝∑qG(q,p)·x(q) q枚举了输入特征图x中所有 空间位置， x(q)为q位置上输入特征图的像素值， G(q,p)由 下式计算得到： G(q,p)＝g(qx,px)·g(qy,py) 其中g(a,b)＝max(0,1 ‑|a‑b|)， qx、 qy表示q位置在输入特征图上的横、 纵坐标， px、 py表 示p位置在输入特 征图上的横、 纵坐标。 7.根据权利要求1所述的基于改进Cascade  RCNN的地铁车底螺栓故障检测方法， 其特 征在于， 步骤5中所述的多尺度感受野 扩张模块， 具体如下： 对于特征金字塔输出特征层P2， 首先通过1 ×1的卷积调整通道数为原来的1/4， 然后通 过四个3×3的卷积层来等效出3 ×3、 5×5、 7×7、 9×9的卷积， 卷积过程中控制输出图像的 大小和通道数与输入图像保持一致； 接着对获得的不同感受野的特征图进行拼接融合； 最 后引入3×3卷积和非线性激活函数Relu和残差结构， 残差结构将生成的特征图和原图进 行 相加操作。 8.根据权利要求1所述的基于改进Cascade  RCNN的地铁车底螺栓故障检测方法， 其特 征在于， 步骤5中所述的协 注意力机制模块， 具体如下： 给定输入图像X， 首先使用尺寸为(H,1)和(1,W)的池化核分别沿着水平坐标和垂直坐 标对每个通道进行编码， 则高度为h的第c通道的编码输出 表示为： 其中W表示X的宽度， xc(h,i)表示X 上高为h宽为i通道数为c的像素值； 同样， 宽度为 w的第c通道的编码输出 由下式计算得到： 其中H表示X的高度， xc(j,w)表示X 上高为j宽为 w通道数为c的像素值； 将上面的变换结果分别沿着空间方向聚合特征， 得到一对方向感知的特征图zh和zw， 将 zh和zw进行拼接， 然后使用1 ×1卷积变换函数F1对拼接后的图像进 行变换操作， 并进 行非线 性激活,如下式所示： f＝ δ(F1([zh,zw])) 式中[·,·]为沿空间维数的拼接操作， δ为非线性激活函数， f为对空间信息在水平方 向和垂直方向进行编码的中间特征映射； 然后沿着空间维数将f分解为2个单独的张量fh∈权　利　要　求　书 2/3 页 3 CN 115063367 A 3