(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202280002803.3 (22)申请日 2022.08.04 (85)PCT国际申请进入国家阶段日 2022.08.29 (86)PCT国际申请的申请数据 PCT/CN2022/110218 202 2.08.04 (71)申请人 中交第二 航务工程局有限公司 地址 430048 湖北省武汉市东西湖区金银 湖路11号 申请人 中交公路长大桥建 设国家工程研究 中心有限公司 (72)发明人 张永涛　田唯　潘桂林　黄灿　 朱浩　彭成明　王永威　刘志昂　 陈圆　杨建平　李冕　李焜耀　 代百华　郑建新　薛现凯　李浩　杨华东　肖垚　胡钦侠　 (74)专利代理 机构 北京远大卓悦知识产权代理 有限公司 1 1369 专利代理师 王莹 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01) H04N 7/18(2006.01) G08B 21/18(2006.01) B66D 1/40(2006.01) (54)发明名称 基于机器视觉的索股无人跟随牵引智能识 别系统和方法 (57)摘要 本发明公开了一种基于机器视觉的索股无 人跟随牵引智能识别系统， 包括： 数据采集模块， 其采集拽拉器的前视画面和后视画面 以及拽拉 器的位置信息； 数据无线传输模块， 其用于数据 采集模块的数据的传输； 边缘计算终端， 其用于 接收拽拉器的前视画面和后视画面 以及拽拉器 的位置信息， 所述边缘计算终端还包括索股姿态 异常识别模块和异常状态预警模块， 所述索 股姿 态异常识别模块用于识别索股异常状态并通过 异常状态预警模块报警； 接收端， 其接收异常状 态预警模块发送的异常报警信息。 本发明还公开 了一种基于机器视觉的索股无人跟随牵引智能 识别方法。 本发 明提高了 现场索股架设的智能化 水平， 节约了人工， 提高了牵引效率， 可操作性 强， 适用于 工程现场。 权利要求书2页 说明书6页 附图2页 CN 115485744 A 2022.12.16 CN 115485744 A 1.基于机器视觉的索股无 人跟随牵引智能识别系统， 其特 征在于， 包括： 数据采集模块， 其包括前视高清相机、 后视高清相机和北斗定位终端， 所述前视高清相 机和后视高清相机 分别采集拽拉器的前视画 面和后视画面， 所述北斗定位终端与所述后视 高清相机连接为 一体， 用于采集拽拉器的位置信息； 数据无线传输模块， 其用于数据采集模块的数据传输； 边缘计算终端， 其用于接收数据无线传输模块传送的拽拉器的前视画面和后视画面以 及拽拉器的位置信息， 所述边缘计算终端还包括索股姿态异常识别模块、 异常状态预警模 块， 所述索股姿态异常识别模块用于通过拽拉器的前视画面和后视画面识别索股异常状 态， 并通过异常状态预警模块报警； 接收端， 其接收异常状态预警模块发送的异常报警信息 。 2.如权利要求1所述的基于机器视觉的索股无人跟随牵引 智能识别系统， 其特征在于， 所述数据无线传输模块采用无线AP和无线网桥融合方式。 3.如权利要求1所述的基于机器视觉的索股无人跟随牵引 智能识别系统， 其特征在于， 所述异常报警信息包括索股 异常姿态类别、 异常姿态 画面截图及拽拉器当前的位置信息 。 4.如权利要求1所述的基于机器视觉的索股无人跟随牵引 智能识别系统， 其特征在于， 所述边缘计算终端还包括卷扬机控制模块， 其用于控制卷扬机启闭， 所述索股姿态异常识 别模块识别索股 异常状态后还通过 卷扬机控制模块控制卷扬机停机 。 5.基于机器视觉的索股无 人跟随牵引智能识别方法， 其特 征在于， 包括如下步骤： 步骤一、 在拽拉器上安装智能识别系统， 并与后台接收端 进行通讯连接； 步骤二、 启动智能识别系统并开始索股牵引施工； 步骤三、 数据采集模块通过前视 高清相机和后视 高清相机分别采集拽拉器的前视画面 和后视画面， 并通过北斗定位终端采集拽拉器的位置信息， 将数据采集模块采集的数据通 过数据无线传输模块传输至边缘计算 终端， 边缘计算 终端获取拽拉器的前视画 面和后视画 面数据后通过索股姿态异常识别模块识别索股异常状态， 当边缘计算终端识别到异常后， 通过异常状态预警模块将异常报警信息发送 给后台的接收端， 同时通过卷扬机控制模块控 制卷扬机停机； 步骤四、 接收端的操作人员接收到异常报警信息后通过后台查看异常姿态画面截图， 确定是否异常， 如果异常， 则操作人员根据拽拉器当前位置信息快速到达拽拉器位置进行 处理， 处理完成后通过卷扬机控制模块控制卷扬机启动工作， 如果操作人员确认是错误的 异常报警信息， 则通过 卷扬机控制模块控制卷扬机继续工作； 步骤五、 重复上述 步骤三和步骤四直至整个待牵引索股牵引施工 完成。 6.如权利要求5所述的基于机器视觉的索股无人跟随牵引 智能识别方法， 其特征在于， 索股姿态 异常识别模块识别索股 异常状态具体方法为： 3.1、 对采集的索股姿态图像进行语义分割， 得到图像中索股像素语义分割区域和托滚 像素语义分割区域； 3.2、 利用步骤3.1得到的托滚像素语义分割区域， 提取 该区域的外 接矩形； 3.3、 利用步骤3.1得到的索股像素语义分割区域， 计算该 区域和步骤3.2得到的外接矩 形的交集区域， 并计算各区域的几何参数， 各参数如下： (Xw1,Yw1)——托滚外 接矩形最左侧点的坐标；权　利　要　求　书 1/2 页 2 CN 115485744 A 2(Xw2,Yw1)——托滚外 接矩形最右侧点的坐标； (Xrmin,Yr1)——索股区域 最左侧点的坐标； (Xrmax,Yr2)——索股区域 最右侧点的坐标； wrmax——索股区域 最大宽度值； 3.4、 基于托滚外 接矩形和索股区域的几何参数， 进行异常判断， 具体包括： ①正常： 若Xw1＜Xrmin且Xrmax＜Xw2且wrmax/(Xw2‑Xw1)＜threshold1， 此时， 系统正常工作， 卷扬机不停机； 其中， thresho ld1为阈值； ②散丝： 若Xw1＜Xrmin且Xrmax＜Xw2且wrmax/(Xw2‑Xw1)≥threshold1； 此时， 系统正常工作， 卷扬机不停机， 系统通过异常状态预警模块将异常报警信息发送给后台的接 收端， 由相关 操作人员决定下一 步动作； ③脱滚： 工况1： 若Xrmin＜Xw1且Xw1＜Xrmax， 此时索股在左侧脱离托滚， 但未完全脱离， 此时通过异 常状态预警模块将异常报警信息发送给后台的接收端， 由相关操作人员决定下一 步动作； 工况2： 若Xrmax＜Xw1， 此时索股在左侧完全脱离托滚， 此时通过异常状态预警模块将异 常报警信息发送给后台的接收端， 同时通过 卷扬机控制模块控制卷扬机停机； 工况3： 若Xw2＜Xrmax且Xrmin＜Xw2， 此时索股在右侧脱离托滚， 但未完全脱离， 此时通过异 常状态预警模块将异常报警信息发送给后台的接收端， 由相关操作人员决定下一 步动作； 工况4： 若Xw2＜Xrmin， 此时索股在右侧完全脱离托滚， 此时通过异常状态预警模块将异 常报警信息发送给后台的接收端， 同时通过 卷扬机控制模块控制卷扬机停机 。 7.如权利要求6所述的基于机器视觉的索股无人跟随牵引 智能识别方法， 其特征在于， 所述步骤3.1中索股姿态图像进行语义分割的具体步骤如下： 3.1.1、 数据标注： 采集大量数据采集模块采集的索股姿态图像， 包括索股正常姿态及 异常姿态图像， 利用标注工具进行 标注； 3.1.2、 模型训练： 采用基于深度学习的语义分割模型对数据进行训练； 3.1.3、 模型推理： 利用3.1.2训练好的模型， 对新输入的图像进行语义分割， 得到索股 姿态语义分割图像， 可 得到图像中的托滚像素语义分割区域和索股像素语义分割区域。 8.如权利要求6所述的基于机器视觉的索股无人跟随牵引 智能识别方法， 其特征在于， 所述步骤3.4中， 阈值thresho ld1取值为0.45。 9.如权利要求7所述的基于机器视觉的索股无人跟随牵引 智能识别方法， 其特征在于， 所述步骤3.1.2采用De eplabV3+模型对数据进行训练， 得到索股姿态图像 语义分割模型。权　利　要　求　书 2/2 页 3 CN 115485744 A 3