(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210418860.1 (22)申请日 2022.04.20 (71)申请人 重庆大学 地址 400044 重庆市沙坪坝区沙坪坝正 街 174号 (72)发明人 唐小林　彭颖　汪峰　邓忠伟　 王明　张志强　胡晓松　李佳承　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 赵荣之 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G01S 17/86(2020.01) G01S 17/931(2020.01) (54)发明名称 一种基于激光雷达与视觉融合的实时目标 检测方法 (57)摘要 本发明涉及一种基于激光雷达与视觉融合 的实时目标检测方法， 属于自动驾驶领域。 该方 法包括： S1： 获取车辆周围环境的相机图像数据 与三维激光雷达扫描点数据， 并将点云数据转换 到本地直角坐标系下以及对3D点云进行预处理； S2： 对预处理后的3D点云数据进行密度聚类， 提 取目标的3D感兴趣区域及相应点云特征； S3： 筛 选出目标的3D感兴趣区域的稀 疏聚类， 映射到图 像的对应区域， 提取图像特征并与点云特征进行 融合； S4： 将所有感兴趣区域的点云特征和图像 特征输入SSD检测器， 进行目标的定位与识别。 本 发明利用图像数据丰富了激光雷达对稀疏物体 的感知能力， 并提高了基于激光雷达与视觉融合 检测的速度与准确性。 权利要求书2页 说明书6页 附图3页 CN 114782729 A 2022.07.22 CN 114782729 A 1.一种基于激光雷达与视觉融合的实时目标检测方法， 其特征在于， 该方法具体包括 以下步骤： S1： 获取车辆周围环境的相机图像数据与三维激光雷达扫描点数据， 并将点云数据转 换到本地直角坐标系下以及对3D点云进行 预处理； S2： 对预处理后的3D点云数据进行密度 聚类， 提取目标的3D感兴趣区域及相应点云特 征； S3： 筛选出目标的3D感兴趣区域的稀疏 聚类， 映射到图像的对应区域， 提取图像特征并 与点云特 征进行融合； S4： 将所有感兴趣区域的点云特 征和图像特 征输入检测器， 进行目标的定位与识别。 2.根据权利要求1所述的实时目标检测方法， 其特 征在于， 步骤S1具体包括以下步骤： S11： 构建以激光雷达中心位置为坐标原点的直角坐标系， 得到每个扫描点Pi的多参数 表示形式Pi＝(Ii， xi， yi， zi)， 具体为： 以激光雷达中心作 为坐标原点， 以激光雷达的垂直轴 线方向为Z轴， 以轴线向上为Z轴的正方向； 以扫描第一个平 面的水平 射线方向为X轴， X轴的 正方向指向汽车右侧； 以车辆的前进方向为Y轴的正方向； S12： 根据直角坐标系进行区域滤波， 设定感兴趣区域边界， 保留感兴趣区域中的扫描 点， 即： Pf＝{Pi|‑X＜xi＜X， Y1＜yi＜Y2， Z1＜zi＜Z2} 当扫描点Pi的坐标(xi， yi， zi)满足在感兴趣区域的范围 ‑X＜xi＜X， Y1＜yi＜Y2， Z1＜zi＜ Z2， 将该扫描点Pi加入点集Pf， 进而得到感兴趣区域扫描点的点 集Pf； S13： 去除3D点云的噪声点： 对于点集Pf中的每一个扫描点Pi， 搜索在扫描点Pi半径R内 的近邻点， 如果Pi的近邻点数量小于M个， 则将该扫描点Pi标注为噪声点并从点集Pf中移除； 遍历点集Pf， 找到所有噪声点并从点 集Pf中移除， 得到预处 理后的点 集Po； S14： 过滤3D点云的地 面点。 3.根据权利要求2所述的实时目标检测方法， 其特 征在于， 步骤S14具体包括以下步骤： S141： 点云数据栅格 化： 根据点集Po中的每一个扫描点Pi的坐标 分配至栅格 (row， col)中； (ro w， col)的计算方式如下： 其中， floor( ·)为向下取整函数， Rmax为激光雷达最大探测距离， dx， dy分别为栅格单 元的长和宽， (xp， yp)表示点Pi在当前构建的本地 直角坐标系下的x、 y轴上的坐标值； S142： 计算 栅格单元ceil(i， j)平均高度， 计算方式如下： 其中， (i， j)表示栅格单元ceil(i， j)的行号和列号， size( ·)为栅格单元内的点云数 量， Pi为栅格单元ceil(i， j)中的点， 为扫描点Pi的z值； S143： 计算 栅格单元ceil(i， j)的高度差Zdiff(i， j)， 计算方式如下： Zdiff(i， j)＝zmax‑zmin权　利　要　求　书 1/2 页 2 CN 114782729 A 2其中， zmax， zmin分别为栅格单元ceil(i， j)的高度的最大值和最小值； S144： 计算栅格单元ceil(i， j)的高度方差σ2(i， j)， 小计算公式如下： S145： 遍历所有栅格， 找到所有满足阈值条件的地 面点并从点 集Pf中移除， 得到预处 理 后的点集P； 阈值条件为： 其中， N1、 N2、 N3分别表示非地 面点云栅格单 元平均高度、 高度差、 高度方差的最低阈值。 4.根据权利要求1所述的实时目标检测方法， 其特征在于， 步骤S2中， 对预处理后的3D 点云数据采用DBSCAN算法进行密度聚类， 提取目标的感兴趣区域以及对应点云的特征， 具 体包括以下步骤： S21： 遍历点集P中的每个扫描点的聚类领域半径ε来进行簇的搜索， 如果某一点的ε内 包含的点数大于等于邻域密度阈值MinPts， 则以该点为核心点创建一个簇， 然后通过搜索 与核心点 直接密度可达的点 来扩大和完 善该簇， 当 没有新点添加到任何簇时， 聚类结束； S22： 计算聚类后每一簇的最小3D轴对齐矩形边界框， 并标记为 候选目标区域； S23： 对每一个侯选目标区域 提取每一个点的特 征。 5.根据权利要求1或4所述的实时目标检测方法， 其特征在于， 步骤S2中， 提取点云特征 的算法包括Po intNet++、 PointNet、 Voxel Net或SECOND。 6.根据权利要求1所述的实时目标检测方法， 其特 征在于， 步骤S3具体包括以下步骤： S31： 筛选出步骤S2中稀疏的侯选目标区域， 条件如下： Ni≤[w1(lx， Ly， Lz)+w2(ymax)]N 其中， N为点集P中点云的总数量， Ni为聚类后每簇中的点云数量， w1， w2为比列系数， w1 与聚类后每簇的长Lx、 宽Ly、 高Lz成正比， w2与每簇的最远距离ymax成反比； S32： 将步骤S31筛选出的点云目标区域映射到对应相机的图像中， 提取图像中对应的 感兴趣区域； S33： 提取图像中目标感兴趣区域中的图像特征， 并与相对应区域的点云特征进行融 合。 7.根据权利要求1或6所述的实时目标检测方法， 其特征在于， 步骤S3中， 利用YOLOV3或 深度卷积神经网络提取目标感兴趣区域中的图像特 征。 8.根据权利 要求1所述的实时目标检测方法， 其特征在于， 步骤S4中， 利用SSD探测器对 感兴趣区域中提取的图像特 征进行定位和识别。权　利　要　求　书 2/2 页 3 CN 114782729 A 3