(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210000172.3 (22)申请日 2022.01.03 (71)申请人 南昌智能新能源 汽车研究院 地址 330052 江西省南昌市南昌县 迎宾中 大道2111号 (72)发明人 田炜　邓振文　熊璐　黄禹尧　 谭大艺　陈涵晟　高众　郑泽涵　 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G01S 13/931(2020.01) G01S 17/931(2020.01) (54)发明名称 一种车载传感器融合的交通目标检测系统 (57)摘要 本发明涉及一种车载传感器融合的交通目 标检测系统， 包括传感器和智驾控制器， 传感器 包括RGB相机、 夜视相机、 毫米波雷达和激光雷 达， 所述智驾控制器包括输 出3D目标信息的融合 算法、 运动规划和运动控制三个模块； 所述传感 器通过数据线将原始数据输入至所述智驾控制 器， 经过所述智驾 控制器的融合算法， 通过CAN信 号控制线控底盘并完成自动行驶任务。 与现有技 术相机， 本发 明能够提高智能驾驶系统环境感知 模块的鲁棒 性和稳定性。 权利要求书1页 说明书4页 附图3页 CN 114283394 A 2022.04.05 CN 114283394 A 1.一种车载传感器融合的交通目标检测系统， 包括传感器和智驾控制器， 其特征在于， 所述传感器包括RGB相机、 夜视相机、 毫米波雷达和激光雷达， 所述智驾控制器包括输出3D 目标信息的融合算法、 运动规划和 运动控制三个模块； 所述传感器通过数据线将原始数据 输入至所述智驾控制器， 经过所述智驾控制器的融合算法， 通过CA N信号控制线控底盘并完 成自动行驶任务； 所述融合算法包括图像处理模块、 点云处理模块、 特征融合模块和检测头模块， 所述 RGB相机采集的RGB图像、 夜视相机采集的夜视图像 分别输入到两种传感器模态对应的图像 处理模块， 所述毫米波雷达的目标级点云、 激光雷达激光点云分别输入到对应的所述点云 处理模块； 所述图像处理模块和所述点云处理模块将图像和点云信息输入到所述特征融合 模块后， 再由特 征融合模块传输 到所述检测头模块， 最后由所述检测头模块输出3D目标。 2.根据权利要求1所述的一种车载传感器融合的交通目标检测系统， 其特征在于， 所述 毫米波雷达的目标级点云中每个点的特征至少包括在毫米波 雷达坐标系的横向坐标、 纵向 坐标、 横向速度和纵向速度。 3.根据权利要求1所述的一种车载传感器融合的交通目标检测系统， 其特征在于， 所述 激光雷达的激光点云中每个点的特征至少包括在毫米波 雷达坐标系的X轴坐标、 Y轴坐标、 Z 轴坐标和反射 率。 4.根据权利要求1所述的一种车载传感器融合的交通目标检测系统， 其特征在于， 所述 智驾控制器内部集 成Linux系统， 且通信架构采用ROS或LCM， 用以完成软件模块之间的信息 交互。 5.根据权利要求1所述的一种车载传感器融合的交通目标检测系统， 其特征在于， 所述 融合算法将传感器原始数据经过预处理后， 输入至所述融合算法的神经网络； 神经网络输 出感知区域内的3D目标信息， 主要包括中心坐标( x, y, z)、 外形尺寸(宽 w, 长l, 高h)和 朝向(θ)。 6.根据权利要求5所述的一种车载传感器融合的交通目标检测系统， 其特征在于， 所述 神经网络包 含数据编码模块、 特 征融合模块和3D目标检测模块 三部分。 7.根据权利要求6所述的一种车载传感器融合的交通目标检测系统， 其特征在于， 所述 特征融合模块将权重化的传感器数据特征沿地面法向方向堆叠在一起， 从而转换成为固定 长宽和固定通道数的伪图像特征图； 所述特征融合模块将所述伪图像特征图输入至预训练 的卷积神经网络模型框架， 并将所述卷积神经网络模型最后三个模块的输出特征使用上采 样卷积， 得到同一尺寸的特征； 所述同一尺寸的特征沿通道方向第1维度堆叠， 形成融合特 征。 8.根据权利要求6所述的一种车载传感器融合的交通目标检测系统， 其特征在于， 所述 3D目标检测模块包括共享层、 分类层和回归层； 所述融合特征经过所述共享层后， 分别通过 分类层和回归层， 分别分类出对应预设锚框的类别和回归出3D框参数， 其中3D框参数包括 与对应预设锚框的位置偏差值、 外形偏差值和航向角差值。权　利　要　求　书 1/1 页 2 CN 114283394 A 2一种车载传感器融合的交通目标 检测系统 技术领域 [0001]本发明涉及智能网联汽车领域， 尤其涉及 一种车载传感器融合的交通目标检测系 统。 背景技术 [0002]智能汽车周边环境目标的检测是重要的研究内容之一。 目前目标检测技术逐渐由 平面2D目标检测向空间3D目标检测进行过渡， 主要 是因为3D目标检测能够输出感知范围内 环境目标的类别及在三维空间中的位置、 长宽高、 方位角等信息。 而且， 3D目标检测更加适 合于检测之后其 他任务模块， 如目标跟踪、 预测 和路径规划等。 [0003]对于环境3D目标检测的研究， 已存在大量可供参考的传感器技术。 基于图像的3D 目标检测主要利用二维框信息和目标朝向信息， 再结合先验假设， 得到图像中目标 的三维 框。 基于激光点云的3D目标检测， 先通过聚类将目标点云分割， 再对分割的点云部 分进行回 归， 完成3D检测 。 然而， 基于单一传感器的3D检测由于传感器缺陷， 仅通过传感器算法难以 进一步提升检测率。 基于车载传感器的目标检测方法在近年不断研究， 但交通场景下 的交 通目标检测系统仍然存在部分问题， 主 要体现如下： 第一、 基于单传感器 的3D目标检测无法直接完整获取交通目标的特征， 通常依赖 于一定假设或先验信息， 例如， 单相机图像虽包含 大量的语义信息， 但在极端环境下检测效 果较差且 无深度信息； 激光雷达能够通过激光测距形成三 维空间的点云， 但点云比较稀疏， 容易出现由于目标反射点较少而引起误检或漏检； 毫米波更加稀疏， 目标级的点云数据通 常无法精确判断探测目标的类别和3D框 。 [0004]其二、 基于多传感器的后端融合 （目标级融合） 依赖于单个传感器的目标检测算 法， 无法充分结合各自传感器的优势且语义损失较大。 后端数据融合方法由于需要考虑各 传感器3D目标的特征数据融合， 包括数据关联、 状态更新、 外形融合， 传统的点目标模型或 椭圆目标模型不 适用于3D框目标模型的数据融合， 3D框的融合目前存在的研究较少。 [0005]第三、 基于多传感器 的前端融合 （像素级、 特征级融合） 目前效果较好的方法均基 于神经网络方法。 所提方法大部分均采用传感器数据之间紧密耦合， 当一个传感器失效或 者数据差异较大， 可能直接导 致检测系统失效， 抗环境扰动能力较差 。 [0006]环境感知系统是智能汽车的重要系统之一， 可提供丰富的环境目标和周围信息， 从而顺利完成自动 驾驶行驶任务。 多传感器融合的环境感知系统研究具有重要实际应用价 值。 发明内容 [0007]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种车载传感器融 合的交通目标检测系统。 [0008]本发明采用的技术方案是： 一种车载传感器融合的交通目标检测系统， 包括传感 器和智驾控制器， 所述传感器包括RGB相机、 夜视相机、 毫米波 雷达和激光雷达， 所述智驾控说　明　书 1/4 页 3 CN 114283394 A 3