(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210649696.5 (22)申请日 2022.06.10 (65)同一申请的已公布的文献号 申请公布号 CN 114724120 A (43)申请公布日 2022.07.08 (73)专利权人 东揽 （南京） 智能科技有限公司 地址 211100 江苏省南京市江宁区苏源大 道19号九龙湖国际企业总部园B1栋3 层310室(江宁开发区) (72)发明人 李松明　彭丽娟　李志斌　 (74)专利代理 机构 南京泰普专利代理事务所 (普通合伙) 32360 专利代理师 张帆 (51)Int.Cl. G06V 20/58(2022.01)G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) 审查员 陈震宇 (54)发明名称 基于雷视语义分割自适应融合的车辆目标 检测方法及系统 (57)摘要 本发明提供了一种基于雷视语义分割自适 应融合的车辆目标检测方法及系统， 采用语义分 割方法对摄像机深度图和雷达点云数据进行分 割， 提出基于反射点和置信 度的自适应雷视信息 融合方法PC ‑ARVF基于每点的分类集合和置信 度， 将深度分割图与点云分割结果融合， 重建融 合点云， 保证多源数据的补充和融合。 提出一种 基于中心点、 距离、 角度的单阶段目标检测模型 CDA‑SSD， 借助圆柱区域 绘制车辆包围框， 设计目 标位置回归的损失函数， 降低了车辆检测模型的 复杂度。 相比于之前的车辆目标检测方法， 本发 明的准确率更高、 复杂度更低， 对雷达和视频图 像的融合和车辆目标检测具有重要意 义。 权利要求书4页 说明书10页 附图4页 CN 114724120 B 2022.09.02 CN 114724120 B 1.基于雷视语义分割自适应融合的车辆目标检测方法， 其特 征在于， 包括如下步骤： S1、 获取场景深度图， 使用毫米波雷达扫描场景原 始点云数据； S2、 执行相机深度图语义分割流程， 将 获取得到的所述场景深度图转化为深度分割图， 并获取深度分割图的标签矩阵， 深度分割图的标签矩阵包括各图像点的分类集合与置信 度； S201、 提取输入的深度图特征， 通过卷积层进行下采样， 通过金字塔池化获取语义特征 并实现不同尺度语义信息的融合， 融合得到全局特征， 将全局特征和原始特征融合通过一 层卷积网络生成最终深度分割图； S202、 步骤S201中生成的所述深度分割图中每个像素点被赋予一个类别标签， 并用不 同的颜色进 行标注， 用平均交并比衡量预测标签和真实标签之 间的重合程度， 即置信度， 从 而可以提取 出点云分割图的标签矩阵， 标签矩阵包括每 个像素点的分类集 合与置信度； S3、 执行雷达原始点云语义分割流程， 获取点云分割图， 并获取点云分割图的标签矩 阵， 点云分割图的标签矩阵包括各反射 点的分类集 合与置信度； S301、 将原始特征输入独立特征学习模块提取独立特征， 利用邻域特征学习模块通过 采样、 分组、 池化提取邻域特征信息， 利用特征融合模块将邻域特征信息映射到每个反射点 上并与每 个反射点的独立特 征融合得到融合特 征； S302、 融合后的特征送入频道注意模块进行语义增强， 最后利用MLP对每个点进行分 类， 输出点云 分割图的标签矩阵包括各反射 点的分类集 合与置信度； S4、 获取步骤S2中所述深度分割图和步骤S3中所述点云分割图的坐标匹配关系， 通过 坐标系变换将所述深度分割图转 化为点云； 统一深度分割图和点云分割图的三维坐标， 并对坐标进行修正， 得到深度分割图坐标 和点云分割图坐标的一 一匹配关系， 作为融合基础； S5、 执行雷视信息 融合流程， 基于坐标匹配结果， 结合深度分割图与点云分割图各匹配 点的坐标、 语义信息、 深度信息， 计算自适应融合权重， 重建融合点云， 生成融合点云分割 图； S501、 获取分类得分矩阵， 矩阵形式如下： 其中n表示 点的数目， k表示分类数目； S502、 比较雷达点云与深度图的特征， 根据雷达点云数据能够更好地反映深度信息的 特点， 深度越深， 雷达点云数据的权重越大， 同时图像的熵 能够反应图像包含的信息量， 包 含信息量大的图像赋予更 大的权重， 权重计算如下： 权　利　要　求　书 1/4 页 2 CN 114724120 B 2其中 表示点云分割图权重， 为点在z轴方向的坐标值， 表示深度分割图权重， 表 示图像的熵， 表示深度分割图和点云分割结果的平均 值， 为每一灰度 值出现的概 率， 表示深度分割图的熵， 表示点云分割图的熵， D 为n×k的深度分割图的标签矩阵， P 为n×k的点云分割图的标签矩阵， 表示对点在z轴方向的坐标值取负并求指数； S503、 得分矩阵融合： ； S6、 执行融合点云分割图的去噪与特征提取流程， 根据各融合点的标签置信度与深度 阈值， 剔除融合点云中标签置信度较小且不满足深度阈值的非目标点云数据， 提取车辆点 云数据， 利用学习向量量化聚类方法聚合车辆点云， 获取车辆中心点的三 维坐标， 得到检测 点云； S7、 执行融合点云分割图的车辆目标检测流程， 基于检测点云， 构建基于中心点、 距离、 角度的单阶段目标检测模型， 构造圆柱 区域绘制车辆包围框， 设计目标位置回归的损失函 数， 对检测点云进行 车辆检测； S701、 利用聚类的中心点坐标( 、 车辆中心点与车辆表面点最大距离 、 车辆中 心点与车辆表面点最小距离 、 车辆中心点与距离车辆中心点距离最大的表面点相连直 线与三维坐标下Z轴所成角度 ， 绘制圆柱目标区域， 基于目标区域内接长方体即为车辆的 包围框； 其中， 基于圆柱目标区域内接 长方体获取 车辆的包围框方法如下： 其中， 分别表示包围框的高、 宽、 长， 表示车辆中心点与车辆表面点最大距离， 表示车辆中心点与车辆表面 点最小距离； S702、 所预测的目标区域包含六个参数( ) ， 真实目标区域包含如下六 个参数 ； 位置损失函数如下：   ； 其中： 其中，权　利　要　求　书 2/4 页 3 CN 114724120 B 3