(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210796916.7 (22)申请日 2022.07.06 (71)申请人 中国矿业大 学 地址 221116 江苏省徐州市铜山区大 学路1 号 申请人 徐州立人 单轨运输装备有限公司 (72)发明人 卢昊　朱真才　张益东　彭玉兴　 陈华　徐再刚　王明仲　杜迈　 胡恒振　郑福平　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 潘文龙 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/58(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 井下障碍物点云与图像数据融合的多尺度 智能感知方法 (57)摘要 本发明涉及一种井下障碍物点云与图像数 据融合的多尺度智能感知方法， 针对井下复杂环 境， 单一传感器获取信息有限， 将激光点云深度 与高度信息与视觉图像RGB三通道信息融合形成 五通道数据特征； 井下巷道内存在诸多影响因素 如巷道变形、 煤矸掉落、 道岔故障、 人员流动且受 光照不均匀等， 影 响障碍物的显著性而导致难以 检测问题， 通过在原有网络YOLOv5的基础上引入 卷积注意力机制增强图像中的显著性； 单轨吊轨 道内障碍物存在掉落煤矸、 落石等小目标难以检 测， 通过增加模 型的输出尺度可提高模型对小目 标的检测精度； 通过上述的方案， 本发明可以快 速精准检测单轨吊前进轨道内的障碍物， 实现单 轨吊无人驾驶的自主 避障。 权利要求书2页 说明书6页 附图1页 CN 115187946 A 2022.10.14 CN 115187946 A 1.一种井下障碍物点云与图像数据融合的多尺度智能感知方法， 其特征在于， 包括以 下步骤： 步骤S1： 构建基于改进YOLOv5算法的单轨吊障碍物实时检测模型； 步骤S1‑1： 引入卷积注意力机制； 步骤S1‑2： 增加障碍物小目标检测层； 步骤S1‑3： 增加先验框检测锚点； 步骤S2： 建立障碍物检测数据集； 步骤S2‑1： 利用单轨吊车 载激光雷达和视 觉模块获取轨道前进方向的道路场景信息； 步骤S2‑2： 融合激光雷达点云信息与视 觉图像信息； 步骤S2‑3： 划分融合数据集； 步骤S3： 训练基于改进YOLOv5算法的单轨吊障碍物实时检测模型； 步骤S3‑1： 设置训练参数； 步骤S3‑2： 设置网络训练自适应缩放图像即五通道障碍物融合图像； 步骤S3‑3： 训练障碍物检测模型； 步骤S4： 评估基于改进YOLOv5算法的单轨吊障碍物实时检测模型； 步骤S4‑1： 对步骤S3 ‑3训练的模型进行性能评估与评价， 将步骤S2 ‑3划分的测试集输 入到步骤S3 ‑3训练的检测模型， 从单一目标检测精度、 小目标检测精度、 平均检测精度、 检 测速度评价指标对 模型进行评估； 步骤S4‑2： 判断步骤S3 ‑3训练的检测模型其检测精度和检测速度是否满足单轨吊障碍 物的实时检测要求即实际工况需求， 如果步骤S 3‑3训练的检测模型其检测精度和检测速度 满足单轨吊障碍物检测的实际工况需求则执行步骤6， 如果步骤S3 ‑3训练的检测模型其检 测精度和检测速度不能满足单轨吊障碍物检测的实际工况需求则执 行步骤5； 步骤S5： 修正基于改进YOLOv5算法的单轨吊障碍物实时检测模型， 通过调整网络模型 宽度width和深度depth参数， 并转到步骤3中重新训练基于改进YOLOv5算法的单轨吊障碍 物实时检测模型； 步骤S6： 将训练好的模型用于单轨吊无人驾驶的自主避障， 通过单轨吊运行过程中车 载视觉和激光雷达获取的前进方向轨道场景信息， 通过预 处理获取的激光雷达深度图和高 度图融合视觉RGB三通道图像获得五通道融合图像， 输入到训练好的检测模型， 即可实时获 取当前轨道场景信息中的障碍物的种类、 位置和距离信息， 从而实现单轨吊无人驾驶的自 主避障。 2.根据权利要求1所述的一种井下障碍物点云与图像数据融合的多尺度智能感知方 法， 其特征在于： 步骤S1 ‑1中引入卷积注意力机制， 在原有YOLOv5骨干网络后添加并联的通 道注意力机制和空间注意力机制， 骨干网络的输出分别进入到通道注意力模块和空间注意 力模块， 在将两模块分别输出的特征图进 行相加， 与骨干网络的输出特征图进 行融合操作， 融合操作之后的特征图输入到YOLOv5网络的neck层， 所述卷积注 意力机制用于加强骨干网 络提取障碍物特 征， 进一步提高提取障碍物特 征的显著性。 3.根据权利要求1所述的一种井下障碍物点云与图像数据融合的多尺度智能感知方 法， 其特征在于： 步骤S1 ‑2中增加障碍物小目标检测层， 在原有网络输出三尺度层 的基础 上， 添加一层小目标检测层， 实现障碍物检测的四尺度预测。权　利　要　求　书 1/2 页 2 CN 115187946 A 24.根据权利要求1所述的一种井下障碍物点云与图像数据融合的多尺度智能感知方 法， 其特征在于： 步骤S1 ‑3中增加先验框检测 锚点， 采用K ‑means++自适应算法获取符合障 碍物目标尺度特点的锚点框； 根据步骤S1 ‑2中增加小目标检测层， 划分的小尺度网格需要 增加对应的小尺度anc hor。 5.根据权利要求1所述的一种井下障碍物点云与图像数据融合的多尺度智能感知方 法， 其特征在于： 步骤S2 ‑1中利用现有标定好的井下单轨吊其视觉图像和激光雷达传感器 数据采集模块， 获取单轨吊前向轨道内的道路场景信息； 利用所设计的算法对车载激光雷 达获取的三 维点云信息进 行处理， 获取能够反映单轨吊前向轨道内的道路场景深度信息的 深度图及高度信息的高度图。 6.根据权利要求1所述的一种井下障碍物点云与图像数据融合的多尺度智能感知方 法， 其特征在于： 步骤S2 ‑2中通过将相同时间获取的视觉图像RGB三通道图像信息与处理后 的激光雷达的深度图和高度图进行图像信息融合形成五通道的融合训练数据集， 采用 mosaic算法实现障碍物融合图像的数据增强， 通过随机将四张图片随机缩放、 随机裁剪、 随 机排布的方式进行拼接， 丰富障碍物目标检测的背景。 7.根据权利要求1所述的一种井下障碍物点云与图像数据融合的多尺度智能感知方 法， 其特征在于： 步骤S3设置训练参数， 采用随机优化算法Adam进行优化训练， 设置训练的 批次大小batch为32， 动量参数momentum为0.9， 学习率初始设定为0.001， 训练迭代次数 epoch为1000， 损失函数采用GIoU， 预测框筛选方法， 采用非极大值抑制NMS方法进行优化， 选取最佳 预测框。 8.根据权利要求1所述的一种井下障碍物点云与图像数据融合的多尺度智能感知方 法， 其特征在于： 步骤S3中， 设置网络训练自适应缩放图像尺 寸为608x608x5， 根据网络设定 的输入尺寸大小实现自适应障碍物融合图像检测训练集和验证集图片的自适应缩放， 根据 步骤S2‑3划分的障碍物融合数据集和步骤S3 ‑1设置的训练参数、 训练模型， 根据损失函数 的变化趋势来调整模型学习率大小和迭代次数， 直到损失函数变化趋于稳定的状态， 从而 确定最终训练模型。权　利　要　求　书 2/2 页 3 CN 115187946 A 3