(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210783503.5 (22)申请日 2022.07.05 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 宋光明　李雅雯　毛巨正　顾玥　 宋爱国　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/00(2006.01) G06T 7/73(2017.01) G06T 7/557(2017.01)G06N 3/04(2006.01) G06N 3/08(2006.01) B25J 5/00(2006.01) (54)发明名称 用于隧洞水下裂缝修补的止水针头远程安 装系统及方法 (57)摘要 本发明公开了一种用于隧洞水下裂缝修补 的止水针头远程安装系统及方法， 包括主端、 通 信通道及从端的水下机器人， 主端通过通信通道 连接从端的水下机器人， 并与从端的水下机器人 通信， 控制从端工作， 所述主端至少包括力反馈 手控器及远程控制终端， 所述远程控制终端根据 双目相机的左、 右目图像， 基于循环生成对抗网 络CycleGAN进行水下图像复原， 结合深度学习方 法Yolov5完成孔位检测， 并结合双目立体匹配方 法SGBM得到视差 图， 完成三维点云重建， 再利用 RANSAC算法拟合孔位点云信息， 根据孔位位姿信 息， 调整机械臂末端垂直于孔位， 进行止水针头 的安装,提高隧洞混凝土衬砌裂缝的止水针头远 程安装作业的自动化水平。 权利要求书3页 说明书7页 附图3页 CN 115170506 A 2022.10.11 CN 115170506 A 1.用于隧洞水下裂缝修补的止水针头远程安装系统， 特征在于： 包括主端、 通信通道及 从端的水下机器人， 主端通过通信通道连接从端的水下机器人， 并与从端的水下机器人通 信， 控制从端工作， 所述从端的水下机器人至少包括单目摄像头和左、 右目双目摄像头， 所述单目摄像头 位于水下机器人顶部的中心位置， 双目摄 像头位于水 下机器人机 械臂的末端； 所述主端至少包括力反馈手控器及远程控制终端， 所述远程控制终端根据双目相机的 左、 右目图像， 基于循环 生成对抗网络C ycleGAN进行水下图像复原， 将原始水下图像输入网 络结构中得到清晰水下图像； 人工标注水下数据集图片并基于深度学习方法Yolov5训练网 络； 将复原后的左目图片输入训练好的网络模型， 得到孔位锚框， 完成孔位检测， 并结合双 目立体匹配方法SGBM得到视差图， 补偿 视差图空洞， 完成三 维点云重建， 利用高斯滤波剔除 离群点， 再利用RA NSAC算法拟合孔位点云信息， 计算孔位平 面， 得到孔位中心 点坐标与法向 量， 根据孔 位位姿信息， 调整机 械臂末端垂直于孔 位， 进行止水针头的安装。 2.如权利要求1所述的用于隧洞水下裂缝修补的止水针头远程安装系统， 其特征在于： 所述水下机器人机械臂的末端还包括六维力传感器， 所述六维传感器用于测量止水针头与 孔的接触力， 调整机 械臂末端 姿态， 所述机 械臂设有防水密封层。 3.如权利要求1或2所述的用于隧洞水下裂缝修补的止水针头远程安装系统， 其特征在 于： 所述单目摄像头及双目摄像头活动连接于水下机器人上， 可进 行升降和旋转运动， 单目 摄像头和双目摄 像头外侧设有防水保护壳。 4.使用如权利要求1所述系统的用于隧洞水下裂缝修补的止水针头远程安装方法， 其 特征在于： 包括如下步骤： S1： 通过从端单目摄像头， 将水下环境视频信 息反馈到远程控制终端并显示， 操作人员 观察水下裂缝及孔 位， 确定止水针头的初步插孔 位置； S2： 操作人员通过力反馈手控器 远程控制水 下机械臂末端靠 近初步选 定的孔位附近； S3： 根据架设在机械臂末端的双目相机的左、 右目图像， 基于循环生成对抗网络 CycleGAN进行水下图像复原， 将原始水下图像输入网络结构中得到清晰水下图像； 预先采 集水下数据集图片， 人工标注清晰度复原后的水下数据集图片， 在图片上用标注框标注出 孔位区域并基于深度学习方法Yolov5训练数据集， 得到训练后的模型， 当获取到CycleGAN 网络复原后的左目 图片时， 输入已经训练好的Yolov5网络结构， 得到孔位锚框， 完成孔位检 测； S4： 结合双目立体匹配方法SGBM得到 视差图， 补偿视 差图空洞， 完成三维点云重建； S5： 通过通信通道将步骤S4获得的三维点云传输到远程控制终端并显示在可视化界面 上， 对全局点云进行高斯滤波剔除离群点， 同时， 根据步骤S3得到的孔位信息， 分割出孔位 点云； S6： 利用RANSAC算法拟合孔位点云信息， 计算当前孔位 中心坐标与法向量， 所述计算方 法为， 根据点云信息， 求出孔的平面方程H： H： nxx+nyy+nzz+d＝0 其中， (nx， ny， nz)为法向量的分量， d为原点到平面的距离； 根据平面方程H以及点云结 果， 计算当前孔 位中心坐标(ox， oy， oz)与法向量(nx， ny， nz)； S7： 根据D ‑H参数法求解机械臂相邻连杆间的齐次变换矩阵， 将机械臂各连杆之间的齐权　利　要　求　书 1/3 页 2 CN 115170506 A 2次变换矩阵相乘， 得到末端执行器相对于基座的位姿方程； 根据步骤S6获得的孔位位姿信 息， 对机械臂位姿信息进行逆运动学求解， 计算机械臂各关节旋转角度θ1， θ2， θ3， θ4， 调整机 械臂末端执 行器位姿垂直于孔 位， 准备止水针头的安装； S8： 结合导纳控制完成止水针头插孔的柔顺安装， 根据六维力传感器， 不断微调机械臂 末端执行器位姿， 消除阻滞现象； S9： 当机械臂末端的六维力传感器测量到装配方向z轴力大于规定阈值， 且孔深度与插 入止水针头深度小于规定阈值时， 止水针头安装成功， 步骤结束； 否则， 继续 步骤S7‑S8。 5.如权利要求4所述的用于隧洞水下裂缝修补的止水针头远程安装方法， 其特征在于： 所述步骤S2中， 力反馈手控器具有3个位置自由度、 3个关节自由度及3个自由度力反馈输 出， 采用位置映射机制， 将力反馈手控器末端的空间位置映射到机械臂的末端， 所述映射关 系为： 其中， [xp， yp， zp]为力反馈手控器末端位置， [x， y， z]为水下机械臂末端位置， ax、 ay、 az 分别为沿x轴 、 y轴、 z轴方向的放大倍数。 6.如权利要求5所述的用于隧洞水下裂缝修补的止水针头远程安装方法， 其特征在于： 所述步骤S5中对全局点云进行高斯滤波剔除离群点， 基于KD ‑Tree依次来搜寻每个点云数 据周围的k个邻域点， 并计算出采样点到其k个邻域点的平均欧式距离， 设pi＝{xi， xi， xi|i ＝1， 2， 3， ...， n}为原始点云数据， 对其经过KD ‑Tree搜索后的数据集为pj＝{xj， xj， xj|j＝ 1， 2， 3， ...， k}。 ， 则有以下公式： 其中， di为已经得到的点pj到其k个邻域点的平均距离， 为 的均值， σ 为di的标准差， 给 定其均值及方差， 剔除点云离群点。 7.如权利要求5或6所述的用于隧洞水下裂缝修补的止水针头远程安装方法， 其特征在 于： 所述步骤S7中机 械臂各关节旋转角度 θ1， θ2， θ3， θ4的计算方法为： 通过齐次坐标变换 代表机械臂相邻连 杆间的坐标变换关系： 其中， i表示机械臂的各个关节； θi表示以zi轴方向看， xi‑1轴和xi轴之间的夹角； di表示 以zi轴方向看， xi‑1轴和xi轴之间的距离； ai‑1表示以xi‑1轴方向看， zi‑1轴和zi轴之间的距离；权　利　要　求　书 2/3 页 3 CN 115170506 A 3