(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211314591.0 (22)申请日 2022.10.26 (71)申请人 斯润天朗 （北京） 科技有限公司 地址 100089 北京市海淀区温泉镇创客小 镇社区配套 商业楼17#楼一层176室 (72)发明人 常琳　蒋华涛　杨昊　仲雪君　 (74)专利代理 机构 北京细软智谷知识产权代理 有限责任公司 1 1471 专利代理师 周亮 (51)Int.Cl. H04W 4/38(2018.01) H04W 4/40(2018.01) H04L 67/12(2022.01) G01S 13/86(2006.01) G01S 17/86(2020.01)G01S 19/45(2010.01) G01C 21/28(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于场景感知的V2X多传感器融合方法及装 置 (57)摘要 本发明涉及一种基于场景感知的V2X多传感 器融合方法及装置， 所述包括。 本发明获取各个 传感器采集的传感器数据， 对传感器数据进行时 间同步， 再进行预处理， 得到待处理数据； 对各个 传感器的待处理数据进行两两比较， 得到传感器 之间的目标检测相关系数； 基于目标检测相关系 数得到各个传感器的置信度， 基于置信度进行场 景判断； 根据判断后的场景确定输入的传感器的 类型， 根据预设的神经网络确定输入的各个传感 器的权重， 对相应的传感器采集的数据进行融 合， 得到融合结果。 本申请通过对多个传感器采 集的数据进行处理， 得到各个传感器的场景判别 可以有效地解决不同场景下的多传感器融合问 题， 使V2X在智能网联汽车中发挥更 大的作用。 权利要求书3页 说明书8页 附图2页 CN 115379408 A 2022.11.22 CN 115379408 A 1.一种基于场景感知的V 2X多传感器融合方法， 其特 征在于， 包括： 获取各个传感器采集的传感器数据， 对所述传感器数据进行时间同步； 所述传感器包 括： 车载OBU终端、 车 载导航终端、 激光雷达、 摄 像头以及毫米波雷达； 对时间同步后的传感器数据进行 预处理， 得到待处 理数据； 对各个传感器的待处理数据进行两两比较， 得到两个传感器之间的目标检测相关系 数； 基于所述目标检测相关系数得到各个传感器的置信度， 基于所述置信度进行场景判 断； 根据判断后的场景确定输入的传感器的类型， 根据 预设的神经网络确定输入的各个传 感器的权 重， 根据所述权 重对相应的传感器采集的数据进行融合， 得到融合结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述车载OBU终端用于获取V2X信息， 所述V2X信息包括： 车辆ID、 位置信息、 GNSS精度、 速度、 方向、 加速度、 车辆尺寸、 车辆类型及时间戳； 所述 位置信息包括经度、 纬度、 高度； 所述车载导航终端用于获取GNS S信息， 所述GNS S信息包括： 经度、 纬度、 高度及时间戳； 所述激光雷达用于获取激光雷达信息， 所述激光雷达信息包括： 角度、 距离、 反射强度 及时间戳； 所述摄像头用于获取摄 像头信息， 所述摄 像头信息包括： 当前帧图像信息及时间戳； 所述毫米波雷达用于获取毫米波雷达信息， 所述毫米波雷达信息包括： 距离、 角度、 速 度及时间戳。 3.根据权利要求2所述的方法， 其特征在于， 对各个传感器进行坐标转换， 以对各个传 感器的坐标 统一为以自车两后轮中心为原点的东北天坐标系中， 所述对时间同步后的传感 器数据进行 预处理， 包括： 采用卡尔曼 滤波器对V 2X信息及GNS S信息进行融合处 理， 得到目标检测结果； 分别根据激光雷达信息、 摄像头信息以及毫米波雷达信息得到激光雷达信息、 摄像头 信息以及毫米波雷达信息的鸟瞰图， 采用预训练的CNN神经网络对激光雷达信息、 摄像头信息以及毫米波雷达信息的鸟瞰 图进行目标检测， 分别得到 激光雷达、 摄 像头以及毫米波雷达的目标检测结果； 将所有的目标检测结果确定为待处 理数据； 其中， 所述激光雷达的目标检测结果为， 激光雷达在鸟瞰图中标注目标位置、 类型及检 测置信度； 所述摄像头的目标检测结果为， 摄像头在鸟瞰图中标注目标位置、 类型及检测置 信度； 所述毫米波 雷达的目标检测结果为， 毫米波 雷达在鸟瞰图中标注目标位置、 类型及检 测置信度。 4.根据权利要求3所述的方法， 其特征在于， 所述采用卡尔曼滤波器对V2X信息及GNSS 信息进行融合处 理， 包括： 根据车辆自身的车载OBU终端采集的V2X信息， 以及获取的其他车辆的车载OBU终端采 集的其他车辆的V2X信息， 得到V2X目标检测的鸟瞰图； 所述鸟瞰图包括 自车和其他车辆在 鸟瞰图中的位置、 车辆的尺寸及相对方位。 5.根据权利要求2所述的方法， 其特征在于， 所述对各个传感器的待处理数据进行两两 比较， 得到 两个传感器之间的目标检测相关系数， 包括：权　利　要　求　书 1/3 页 2 CN 115379408 A 2根据获取的待处理数据， 分别获取车载OBU终端到激光雷达的目标检测相关系数、 车载 OBU终端到摄像头的目标检测相关系数、 车载OBU终端到毫米波雷达的目标检测相关系数、 激光雷达到车载OBU终端的目标检测相关系数、 激光雷达到毫米波雷达的目标检测相关系 数、 激光雷达到摄像头目标检测的相关系数、 毫米波 雷达到车载OB U终端的目标检测相关系 数、 毫米波雷达到激光雷达目标检测相关系数以及毫米波 雷达到摄像头的目标检测相关系 数。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述目标检测相关系数得到各个 传感器的置信度， 包括： 分别计算各个传感器对其 他传感器的目标检测相关系数之和； 对所述各个传感器得到的目标检测相关系数之和进行归一化， 得到各个传感器的置信 度。 7.根据权利要求6所述的方法， 其特征在于， 所述场景包括： 晴朗天场景、 雨天场景、 雾 天场景、 雪天场景、 遮挡场景及电磁环境恶劣场景， 所述基于所述置信度进行场景判断， 包 括： 如果各个传感器之间的置信度差别不大于阈值1时， 确定为晴朗天场景； 如果摄像头的置信度与其他传感器的置信度差别均 大于阈值2且小于等于阈值3， 确定 为雨天场景； 如果摄像头的置信度与其 他传感器的置信度差别均大于阈值3时， 确定为雾天场景； 如果摄像头的置信度与车载OBU终端、 毫米波雷达的置信度差别均大于阈值2， 激光雷 达的置信度与车 载OBU终端、 毫米波雷达的置信度差别均大于阈值 4时， 确定为雪天场景； 如果车载OBU终端的置信度与其他传感器的置信度差别均大于阈值5， 且其他传感器之 间的置信度差别不大于阈值6时， 确定为遮挡场景； 如果车载OBU终端的置信度与其他传感器的置信度差别均大于阈值5， 且其他传感器之 间的置信度差别不大于阈值7时， 确定为电磁环境恶劣场景。 8.根据权利要求7所述的方法， 其特征在于， 所述根据判断后的场景确定输入的传感器 的类型， 包括： 如果为晴朗天场景， 则输入的传感器的类型包括车载OBU终端、 激光雷达、 摄像头以及 毫米波雷达； 如果为雨天场景， 则输入的传感器的类型包括车载OBU终端、 激光雷达以及毫米波雷 达； 如果为雾天场景， 则输入的传感器的类型包括车载OBU终端、 激光雷达以及毫米波雷 达； 如果为雪天场景， 则输入的传感器的类型包括车 载OBU终端及毫米波雷达； 如果为遮挡场景， 则输入的传感器的类型以车载OBU终端为主， 根据其他传感器到车载 OBU终端的目标检测相关系数 大小选择其 他传感器； 如果为电磁环境恶劣场景， 则输入的传感器的类型包括激光雷达、 摄像头以及毫米波 雷达。 9.根据权利要求1所述的方法， 其特 征在于， 采用GPS卫星终端对所述车载OBU终端、 车载导航终端、 激光雷达、 摄像头以及毫米波雷权　利　要　求　书 2/3 页 3 CN 115379408 A 3