(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111323001.6 (22)申请日 2021.11.10 (65)同一申请的已公布的文献号 申请公布号 CN 113781480 A (43)申请公布日 2021.12.10 (73)专利权人 南京未来网络产业创新有限公司 地址 210000 江苏省南京市江宁区秣周东 路12号悠谷2号楼18楼 (72)发明人 田文科　钱钧　张经纬　戚厚洋　 (74)专利代理 机构 南京九致知识产权代理事务 所(普通合伙) 32307 代理人 严巧巧 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/70(2017.01)G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) G01N 21/88(2006.01) 审查员 王爽 (54)发明名称 一种基于机器视觉的钢轨表面检测方法和 系统 (57)摘要 本申请公开了一种基于机器视觉的钢轨表 面检测方法和系统， 该方法包括： 接收高速摄像 机拍摄得到的钢轨的视频； 将所述视频的每个关 键帧均生 成为一张关键帧图像， 为每一张关键帧 图像设置第一标签信息； 将每一张关键帧图像均 输入到第一机器学习模型中； 将所述第一机器学 习模型输出的每一张钢轨图像输入到第二机器 学习模型中； 获取所述第二机器学习模型输出的 第二标签信息， 并在所述第二标签信息指示该钢 轨图像存在 表面缺陷的情况下， 将该钢轨图像对 应的关键帧图像的第一标签信息的状态设置为 检测有问题。 通过本申请解决了现有技术中的钢 轨表面检测会影 响列车正常运行所导致的问题， 从而可以在不影响列车运行状态下对钢轨进行 检测。 权利要求书3页 说明书7页 附图1页 CN 113781480 B 2022.02.15 CN 113781480 B 1.一种基于 机器视觉的钢轨表面检测方法， 其特 征在于， 包括： 接收高速摄像机拍摄得到的钢轨的视频， 其中， 所述高速摄像机设置在列 车的头部， 并 随所述列车运行对所述钢轨进行拍摄； 将所述视频的每个关键帧均生成为一张关键帧图像， 为每一张关键帧图像设置第 一标 签信息， 其中， 所述第一标签信息包括所述关键帧图像中的钢轨的状态， 所述状态为以下之 一： 未检测、 检测无问题、 检测有问题， 在生成所述关键帧图像时设置所述状态的默认值为 未检测； 将每一张关键帧图像均输入到第一机器学习模型中， 其中， 所述第一机器学习模型用 于从所述每一张关键帧图像中提取出其中的钢轨图像； 所述第一机器学习模型为预先使用 多组第一训练数据训练得到的， 每组所述第一训练数据包括两张图像， 其中， 一张图像为所 述高速摄像机拍摄的带有背景的钢轨的照 片， 另一张图像为从所述一张图像中提取出的钢 轨图像， 所述另一张图像中的钢轨图像被预定程序进行对比度和亮度的调节， 所述对比度 和亮度的数值 为预先输入到所述预定程序中的； 将所述第一机器学习模型输出的每一张钢轨 图像输入到第二机器学习模型中， 其中， 所述第二机器学习模型用于识别钢轨图像中的表 面缺陷， 所述第二机器学习模型为预先使 用多组第二训练数据训练得到的， 每组所述第二训练数据均包括钢轨图像和用于指示该钢 轨图像中是否存在标签缺陷的第二标签信息， 所述第二标签信息是人工根据所述钢轨图像 来进行标注的； 获取所述第 二机器学习 模型输出的第 二标签信 息， 并在所述第 二标签信 息指示该钢轨 图像存在表面缺陷的情况下， 将该钢轨图像对应的关键帧图像的第一标签信息的状态设置 为检测有问题， 其中， 所述检测有问题用于指示该关键帧图像中的钢轨存在表面 缺陷； 还包括： 在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之后， 对所 有的关键帧视频进 行遍历， 获取所有存在问题的关键图像， 其中， 所述存在问题的关键帧图 像为状态为检测有问题的第一标签信息对应的关键帧图像； 将所有存在问题的关键帧图像 进行压缩并发送至预先配置的联系方式上， 所述第一标签信息中还携带有每张关键帧图像 在所述视频中对应的时间信息； 其中， 根据所述视频的拍摄起始 时间和结束时间获取所述 列车的停靠站， 根据所述停靠站确定所述视频所拍摄的视频的起始站和终点站， 根据所述 关键帧图像的时间信息确定拍摄该关键帧图像时所述列车所在的位置， 根据所述列车所在 的位置确定所述关键帧图像中钢轨所在的位置， 该位置被称为第一位置； 根据列车记录运 行的时间与北斗定位数据的对应关系， 查找所述关键帧图像的时间信息对应的位置信息， 该位置信息作为所述关键 帧图像中钢轨所在的位置， 该位置被称为第二位置； 将所述第一 位置和所述第二位置进行重叠， 所述第一位置和所述第二位置重叠的部分为所述钢轨所在 的位置。 2.根据权利要求1所述的方法， 其特 征在于， 所述钢轨视频是在列 车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄， 并在所述列车从运行状态变为停止状态的情况 下， 停止拍摄得到的视频。 3.根据权利要求1所述的方法， 其特征在于， 将所有存在问题的关键帧图像进行压缩 并 发送至预 先配置的联系方式上包括： 获取所述列车的车次和运行时间， 并生成记录有所述车次和运行时间的文本；权　利　要　求　书 1/3 页 2 CN 113781480 B 2将所述文本和所述所有存在 问题的关键帧图像一起进行压缩得到压缩包， 其中， 所述 压缩包使用预 先配置的密钥进行加密； 将加密后的所述压缩 包发送至预 先配置的联系方式上。 4.一种基于 机器视觉的钢轨表面检测系统， 其特 征在于， 包括： 接收模块， 用于接收高速摄像机拍摄得到的钢轨的视频， 其中， 所述高速摄像机设置在 列车的头 部， 并随所述列车运行对所述钢轨进行拍摄； 生成模块， 用于将所述视频的每个关键帧均生成为一张关键帧图像， 为每一张关键帧 图像设置第一标签信息， 其中， 所述第一标签信息包括所述关键帧图像中的钢轨的状态， 所 述状态为以下之一： 未检测、 检测无问题、 检测有问题， 在生成所述关键帧图像时设置所述 状态的默认值 为未检测； 第一输入模块， 用于将每一张关键帧图像均输入到第 一机器学习 模型中， 其中， 所述第 一机器学习模型用于从所述每一张关键帧图像中提取出其中的钢轨图像； 所述第一机器学 习模型为预先使用多组第一训练数据训练得到的， 每组所述第一训练数据包括两张图像， 其中， 一张图像为所述高速摄像机拍摄的带有背景 的钢轨的照片， 另一张图像为从所述一 张图像中提取出的钢轨图像， 所述另一张图像中的钢轨图像被预定程序进 行对比度和亮度 的调节， 所述对比度和亮度的数值 为预先输入到所述预定程序中的； 第二输入模块， 用于将所述第 一机器学习 模型输出的每一张钢轨图像输入到第 二机器 学习模型中， 其中， 所述第二机器学习模型用于识别钢轨图像中的表面缺陷， 所述第二机器 学习模型为预先使用多组第二训练数据训练得到的， 每组所述第二训练数据均包括钢轨图 像和用于指示该钢轨图像中是否存在标签缺陷的第二标签信息， 所述第二标签信息是人工 根据所述钢轨图像来进行 标注的； 设置模块， 用于获取所述第二机器学习模型输出的第二标签信息， 并在所述第二标签 信息指示该钢轨图像存在表面缺陷的情况下， 将该钢轨图像对应的关键帧图像的第一标签 信息的状态设置为检测有问题， 其中， 所述检测有问题用于指示该关键帧图像中的钢轨存 在表面缺陷； 获取模块， 用于在所述第二机器学习模型对所述视频所有的关键帧图像进行识别之 后， 对所有的关键帧视频进行遍历， 获取所有存在问题的关键图像， 其中， 所述存在问题的 关键帧图像为状态为检测有问题的第一标签信息对应的关键帧图像； 发送模块， 用于将所 有存在问题的关键帧图像进行压缩并发送至预先配置的联系方式上； 所述第一标签信息中 还携带有每张关键 帧图像在所述视频中对应的时间信息； 其中， 根据所述视频的拍摄起始 时间和结束时间获取所述列车的停靠站， 根据所述停靠站确定所述视频所拍摄的视频的起 始站和终点站， 根据所述关键帧图像的时间信息确定拍摄该关键帧图像时所述列车所在的 位置， 根据所述列车所在的位置确定所述关键帧图像中钢轨所在的位置， 该位置被称为第 一位置； 根据列车记录运行 的时间与北斗定位数据的对应关系， 查找所述关键帧图像的时 间信息对应的位置信息， 该位置信息作为所述关键 帧图像中钢轨所在的位置， 该位置被称 为第二位置； 将所述第一位置和所述第二位置进行重叠， 所述第一位置和所述第二位置重 叠的部分为所述钢轨所在的位置 。 5.根据权利要求 4所述的系统， 其特 征在于， 所述钢轨视频是在列 车从停止状态变为运行状态的情况下启动高速摄像机开始拍摄，权　利　要　求　书 2/3 页 3 CN 113781480 B 3