(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210422754.0 (22)申请日 2022.04.21 (71)申请人 中国第一汽车股份有限公司 地址 130011 吉林省长 春市汽车 经济技术 开发区新红旗大街1号 (72)发明人 衣春雷　尹荣彬　李兵　王秋　 (74)专利代理 机构 北京博浩百 睿知识产权代理 有限责任公司 1 1134 专利代理师 李静茹 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06T 7/00(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G01S 13/86(2006.01) G01S 13/931(2020.01) G01S 17/86(2020.01) G01S 17/931(2020.01) (54)发明名称 基于信息融合的目标检测方法以及目标检 测装置 (57)摘要 本公开实施例提供一种基于信息融合的目 标检测方法、 装置、 存储介质以及电子设备， 所述 目标检测方法包括： 将基于激光雷达点云数据的 第一体素和基于毫米波雷达点云数据的第二体 素进行第一融合以获取伪图像； 通过检测网络对 所述伪图像进行检测并获取目标的状态信息； 将 所述目标的状态信息和通过所述毫米波雷达采 集的目标的信息输入深度网络模型进行第二融 合以获取所述目标的实际速度值。 本公开基于激 光雷达点云数据和毫米波雷达点云数据的早期 融合和晚期融合， 即利用体素的方式实现激光雷 达和毫米波雷达的点云数据的早期融合和利用 深度网络检测的目标的速度与关联的毫米波雷 达采集的目标的速度之间进行融合的方式以实 现对于目标的实际速度值的检测。 权利要求书2页 说明书11页 附图2页 CN 115424233 A 2022.12.02 CN 115424233 A 1.一种基于信息融合的目标检测方法， 其特 征在于， 包括： 将基于激光雷达点云数据的第一体素和基于毫米波雷达点云数据的第二体素进行第 一融合以获取伪图像； 通过检测网络对所述伪图像进行检测并获取目标的状态信息； 将所述目标的状态信息和通过所述毫米波雷达采集的目标的信息输入深度网络模型 进行第二融合以获取 所述目标的实际速度值。 2.根据权利要求1所述的目标检测方法， 其特征在于， 所述将基于激光雷达点云数据的 第一体素和基于毫米波雷达点云数据的第二体素进行第一融合以获取伪图像， 包括： 获取激光雷达点云数据和毫米波雷达点云数据相互之间的交 互信息； 获取包括具有所述交 互信息的激光雷达的特 征和毫米波雷达的特 征的总体特 征； 将所述总体特 征按位置编码映射到平面， 从而形成伪图像。 3.根据权利要求1所述的目标检测方法， 其特征在于， 所述通过检测网络对所述伪图像 进行检测并获取目标的状态信息， 包括： 通过所述检测网络的主干网络从所述伪图像中提取 特征信息； 将所述特 征信息输入至所述检测网络的全卷积检测头以输出目标的状态信息 。 4.根据权利要求3所述的目标检测方法， 其特征在于， 所述状态信息通过D＝(c,x,y,w, l, θ,v)的方式进行描述， 其中， c表示置信度分数、 x和y表示BEV视角下所述目标的中心位 置、 w表示所述目标的宽度、 l表示所述目标的长度、 θ表示所述目标的朝向、 v表示所述目标 的二维速度。 5.根据权利要求1所述的目标检测方法， 其特征在于， 所述将所述目标的状态信 息和通 过所述毫米波 雷达采集的目标的信息输入深度网络模型以获取所述目标的实际速度值， 包 括： 将所述检测网络获取的第一目标和毫米波雷达采集的第二目标进行关联； 获取所述第一目标和所述第二目标之间的关联分数； 基于所述关联分数获取每 个目标的实际速度值。 6.根据权利要求5所述的目标检测方法， 其特征在于， 所述深度网络模型通过多任务的 总体损失函数进 行训练， 所述总体损失函数至少包括所述检测网络检测所述第一目标的检 测损失、 检测阶段的速度损失、 第二融合阶段的速度损失。 7.根据权利要求1所述的目标检测方法， 其特征在于， 在所述将基于激光雷达点云的第 一体素和基于毫米波雷达的第二体素进行第一融合以获取伪图像之前， 还 包括： 通过激光雷达和毫米波雷达分别采集并获取激光雷达点云数据和毫米波雷达点云数 据； 对所述激光雷达点云数据和所述毫米波雷达点云数据进行基于鸟瞰图视角和透视视 角的体素化处 理以获取第一体素和第二体素。 8.一种基于信息融合的目标检测装置， 其特 征在于， 包括： 第一融合模块， 用于将基于激光雷达点云数据的第 一体素和基于毫米波雷达点云数据 的第二体素进行第一融合以获取伪图像； 获取模块， 用于通过检测网络对所述伪图像进行检测并获取目标的状态信息； 第二融合模块， 用于将所述目标的状态信 息和通过所述毫米波雷达采集的目标的信 息权　利　要　求　书 1/2 页 2 CN 115424233 A 2输入深度网络模型进行第二融合以获取 所述目标的实际速度值。 9.一种存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处理器执行时实 现权利要求1至7中任一项所述方法的步骤。 10.一种电子设备， 至少包括存储器、 处理器， 所述存储器上存储有计算机程序， 其特征 在于， 所述处理器在执行所述存储器上的计算机程序时实现权利要求 1至7中任一项 所述方 法的步骤。权　利　要　求　书 2/2 页 3 CN 115424233 A 3