(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211219263.2 (22)申请日 2022.10.08 (65)同一申请的已公布的文献号 申请公布号 CN 115283360 A (43)申请公布日 2022.11.04 (73)专利权人 天津盛安机 械设备有限公司 地址 300380 天津市西青区杨柳青镇营建 路122号 (72)发明人 李安胜　陈隽星　崔朝阳　翁仲铭　 李颜生　李俊峰　 (74)专利代理 机构 天津协众信创知识产权代理 事务所(普通 合伙) 12230 专利代理师 刘斌 (51)Int.Cl. B08B 5/02(2006.01)B08B 13/00(2006.01) G01N 21/94(2006.01) (56)对比文件 CN 114435307 A,202 2.05.06 CN 112495978 A,2021.0 3.16 CN 113911075 A,202 2.01.11 CN 209683 641 U,2019.1 1.26 CN 21389 2447 U,2021.08.0 6 CN 106681330 A,2017.0 5.17 CN 112896101 A,2021.0 6.04 CN 106809181 A,2017.0 6.09 CN 112418155 A,2021.02.26 CN 114755443 A,202 2.07.15 NO 20201382 A1,202 2.06.17 审查员 朱壮 (54)发明名称 基于地铁智能吹扫的视觉点云路径自动规 划系统及方法 (57)摘要 本发明涉及基于地铁智能吹扫的视觉点云 路径自动规划系统及方法， 属于城市轨道交通车 辆维护保养技术领域， 包括AGV吹扫车； 所述AGV 吹扫车上设置机械臂摄像头和吹扫机器人； 所述 机械臂摄像头的摄像头安装在机械臂末端并随 机械臂活动， 所述机械臂安装在AGV吹扫车的基 座上； 所述AGV吹扫车、 机械臂 摄像头和吹扫机器 人均由中控平台控制； 所述中控平台内设有地铁 数据库、 YoloV4识别的立体模块， 还包括使用该 系统进行的路径自动规划方法。 本发明采用 YoloV4识别技术， 透过预训练好的零部件的分类 与识别技术， 把所有可能存在地铁的零部件类型 找出来， 并且在地铁车底点云建图阶段， 一并把 零部件的绝对位置标示出来对零部件精准识别、 定位并做出自动化吹扫路径规划。 权利要求书3页 说明书9页 附图4页 CN 115283360 B 2022.12.27 CN 115283360 B 1.一种基于地铁智能吹扫的视觉点云路径自动 规划方法， 使用基于地铁智能吹扫的视 觉点云路径自动规划系统， 包括AGV吹扫 车， 所述AGV吹扫 车上设置机械臂摄像头和吹扫机 器人； 所述机械臂摄像头安装在机械臂末端并随机械臂活动， 所述机械臂 安装在AGV吹扫车 的基座上； 所述AGV吹扫 车、 机械臂摄像头和吹扫机器人均由中控平台控制； 所述中控平台 内设有地铁数据库、 YoloV4识别模型； 所述机械臂摄像头拍摄的2D图像经由YoloV4识别模 块进行零部件识别得到零部件型号和位置、 透过摄像头获得的3D点云数据产生的立体外观 均存储在地铁数据库中， 其特 征在于， 包括以下步骤： S1当地铁停稳后， 进行车底盖板的拆卸和存放； 确认作业范围安全后， 将三台吹扫机器 人通电启动并移动到起始点； S2将机械臂摄像头移动至车头位置启动并对车头识别扫描， 确认车头位置与起始点误 差并将该误差传送到中控系统中， 开始指定预 先定义的吹扫任务； S3依据预 先完成的零部件建图对地铁列车底部的零部件进行定位； S4定位正确后判断零部件位置误差； S5开始吹扫前， 采用事先建立好的点云数据库， 比对当下的点云数据， 吹扫前先执行障 碍物判断， 先确认系统是否存在中断续接流程， 后续再开始执行吹扫； 启动吹扫前后均对零 部件表面进行2D拍照以判断清洁是否 达标； S6执行完对所有零部件的吹扫后， 等待中控平台通知AGV吹扫车已经到达终点， 同时移 动机械臂回等待位置 。 2.根据权利要求1所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法， 其特 征在于： 所述S3中的零部件建图流 程包括以下步骤， A1， 于地铁车厢底部启动AGV吹扫车； A2， 并指定每移动设定距离 30cm后， AGV吹扫车静止； A3， 指定机械臂移动到离地距离50cm， 机械臂摄像头维持在基座上方， 从基座上方、 往 左45度角、 往右45度角三个位置朝上拍摄， 获取机 械臂移动所拍照的三张2D图像； A4， 拍照并储存2D图像， 执行YoloV4模型， 分类并判断零部件是否存在于指定相片中； 若发现存在零部件， 则根据机械臂摆动的角度以及AGV吹扫车的定点位置， 计算该零部件在 图像中相对地 面的位置， 并指定其 位置为零部件的绝对位置； A5， 储存零部件2D照片、 地铁底盘绝对位置、 机械臂拍 摄角度、 现场零部件与YoloV4模 型库中的零部件角度差异于地铁数据库中； A6， 每执行一次各列地铁零部件建图后， 于地铁数据储存所有零部件种类、 位置、 2D照 片、 3D点云数据和扫描时间， 并且 特别标注每列地铁车型的第一个零部件位置， 记录第一个 零部件为该 车型的第一 零部件； A7， 针对每个零部件的外型， 预先建立好吹扫的路径， 包括大面积的快速吹扫路径、 仅 涵盖稀疏点云的基本吹扫路径及包 含所有点云的深度吹扫路径。 3.根据权利要求2所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法， 其特 征在于： 所述S3中的零部件定位 流程包括以下步骤， B1， AGV吹扫车于启始点 位静止， 并移动机 械臂摄像头到基座上 方， 离地5 0cm； B2， 直接移动AGV吹扫车到列车第一 零部件位置； B3， 启动机械臂摄像头2D拍照， 获取2D图像， 并执行YoloV4模型， 分类并判断此零部件权　利　要　求　书 1/3 页 2 CN 115283360 B 2是否存在于指定地 点； B3‑1， 若发现第一零部件存在且位置一致， 则取出具备此第一零部件的列车数据， 并以 此列车为本次吹扫车 型； B3‑2， 若没有发现该型列车第一零部件， 则读取数据库中其他列车的第一零部件位置， 并移动到该第一 零部件位置， 重复执 行B3； B4， 回传识别该车型编号给中控平台， 并等待中控平台回传指定该零部件种类和吹扫 方式； B5， 移动AGV吹扫车到下一个指定零部件位置， 依次执 行B3和B4。 4.根据权利要求1所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法， 其特 征在于： 所述S4中的位置误差判断流 程包括以下步骤， C1， 再次比对2D图像若发现零部件存在， 则以2D图像中的零部件相对位置、 机械臂的相 对位置、 AGV吹扫车的绝对位置， 来计算出这个零部件是否与数据库中的位置相符合； 若存 在超过1c m的误差， 则通知中控系统， 并记录AGV吹扫车出现定位误差， 并开始执行指 定吹扫 方式； C2， 再次比对2D图像若发现零部件不存在， 则表示AGV吹扫车出现严重定位误差， 此时 则通知中控系统， 并启动前后移动3 0cm， 搜寻零部件的新 位置， 并重复执 行S3。 5.根据权利要求3所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法， 其特 征在于： 所述B4中吹扫方式的建立包括以下步骤， D1， 事先搜集所有地铁底盘的零部件2D照片； D2， 执行YoloV4模型， 预 先训练好 零部件分类， 并达 到90%以上的精确识别度； D3， 通过机械臂摄像头针对该零部件执行3D扫描， 获取3D点云数据并存入到地铁数据 库； D4， 针对3D点云数据产生的立体外观建立三种吹扫方式， 分别为快速、 标准和 深度吹扫 路径。 6.根据权利要求1所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法， 其特 征在于： 所述S5中的中断接续 流程包括以下步骤， M1, 确认中断接续流程的参数是否有数值， 如果有数值， 表示此次的吹扫路径曾经执 行过， 并且没有完成； 后续便读取此过程中所扫描过的路径或3D点云数据， 并快速让机械臂 移动到上次未完成的路径； M2, 如果中断接续流程的参数没有数值， 表示本零部件的吹扫是第一次执行， 便进入 初始路径读取， 便让机 械臂移动到初始的点云位置； M3, 一边执行吹扫路径， 一边纪录遍历过的3D点云数据到中断接续流程的参数中， 一 直到执行结束， 再把中断接续 流程的参数归零。 7.根据权利要求1所述的一种基于地铁智能吹扫的视觉点云路径自动规划方法， 其特 征在于： 所述S5中的障碍物判断流 程包括以下步骤， E1， 为了判断前方是否有管道线的遮档， 系统先根据采集到的2D图像， 使用霍夫线性变 换， 将画面中的图像转成边缘线段的二值图， 将此二值图与深度图合并， 藉以找出画面中线 段的位置与距离； E2， 根据画面中线段的位置与距离， 将零部件与障碍物之间的距离预设定一阈值， 根据权　利　要　求　书 2/3 页 3 CN 115283360 B 3