(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111678062.4 (22)申请日 2021.12.31 (71)申请人 北京荣顺智行科技开发有限公司 地址 100220 北京市昌平区城北街道昌崔 路198号院10号楼4层40 6 (72)发明人 王钧政　邓成立　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 代理人 陈霁 (51)Int.Cl. G06T 7/80(2017.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 一种多源传感器的时空融合优化方法及装 置 (57)摘要 本发明提供了一种多源传感器的时空融合 优化方法及装置。 该方法可以自动从传感器感知 到的置信度较低的数据中选取出置信度较高的 数据， 进而由置信度较高的数据对第一传感器和 第二传感器的时间标定和空间标定进行修正， 提 升了修正精度， 从而实现了对不同的传感器的时 间和空间标定的修正， 有效解决了在传感器运行 一段时间后不同的传感器感知到的数据时空不 同步的问题， 提升 了后续数据融合的准确性。 权利要求书3页 说明书10页 附图2页 CN 114359408 A 2022.04.15 CN 114359408 A 1.一种多源传感器的时空融合优化方法， 其特征在于， 应用于包括N个传感器的系统， N 大于或等于2， N个传感器中包括第一传感器和第二传感器， 所述第一传感器与所述第二传 感器处于同一区域， 且所述第一传感器的感知区域与所述第二传感器的感知区域之 间具有 重叠区域， 且已预先对所述第一传感器和所述第二传感器的时间和空间进 行标定， 其中， 所 述重叠区域是指不同的传感器之间的重合区域； 所述方法包括： 分别将以所述第一传感器自身为原点的第一坐标系转换至大地坐标系和以所述第二 传感器自身为原点的第二 坐标系转换至大地 坐标系； 当所述第一传感器和/或所述第二传感器感知的所述重叠区域中n个目标物中第一目 标物与剩余的目标物之 间的距离大于预设值时， 获取所述第一传感器感知到的与所述第一 目标物相关的第一 感知数据， n为大于或等于0， 其中， 所述第一目标物包括处于 静止状态的 目标物或处于运动状态的目标物； 基于所述第 一感知数据， 从所述第 二传感器感知到的数据中确定出与 所述第一目标物 相关的第二感知数据； 当所述第一目标物为处于静止状态的目标物时， 基于所述第 一感知数据中所述第 一目 标物的第一位置和在所述第二感知数据中与所述第一位置对应的第二位置， 对所述第一传 感器和所述第二传感器的空间标定进行修 正； 当所述第一目标物为处于运动状态的目标物时， 基于所述第 一感知数据中所述第 一目 标物的运动时间和运动位置， 以及所述第二感知数据中所述第一目标物的运动时间和运动 位置， 对所述第一传感器和所述第二传感器的时间标定进行修 正。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一感知数据中所述第 一目 标物的第一位置和在所述第二感知数据中与所述第一位置对应的第二位置， 对所述第一传 感器和所述第二传感器的空间标定进行修 正， 具体包括： 从所述第一传感器和所述第 二传感器中随机选取一个作为参照物， 以及基于所述第 一 位置和所述第二 位置之间的偏差量， 对未被选取为 参照物的传感器的空间参数进行修 正。 3.根据权利要求1所述的方法， 其特征在于， 所述第 一传感器的采样频率低于所述第 二 传感器的采样频率； 所述基于所述第 一感知数据中所述第 一目标物的运动时间和运动 位置， 以及所述第 二 感知数据中所述第一目标物的运动时间和运动位置， 对所述第一传感器和所述第二传感器 的时间标定进行修 正， 具体包括： 随机从所述第 一感知数据中选取一个包含所述第 一目标物的第 一数据帧， 并确定采集 到所述第一数据帧的第一时间， 和在所述第一数据帧中所述第一目标物的第一 位置； 基于所述第 一时间， 从所述第 二感知数据中确定包含所述第 一目标物的第 二数据帧和 第三数据帧， 以及确定采集到所述第二数据帧的第二时间和采集到所述第三数据帧的第三 时间， 并确定出在所述第二数据帧中所述第一目标物的第二位置和在所述第三数据帧中所 述第一目标物的第三位置， 其中， 所述第二数据帧和所述第三数据帧为相 邻的数据帧， 所述 第一时间大于所述第二时间， 且小于所述第三时间； 根据所述第一位置、 所述第二位置、 所述第三位置、 所述第二时间和所述第三时间， 确 定在所述第一目标物处于所述第一位置时所述第二传感器感知到所述第一目标物的第四权　利　要　求　书 1/3 页 2 CN 114359408 A 2时间； 根据所述第 一时间和所述第四时间之间的时间差， 对所述第 一传感器和所述第 二传感 器的时间标定进行修 正。 4.根据权利要求1 ‑3任一所述的方法， 其特征在于， 所述第 一传感器的采样频率低于所 述第二传感器的采样频率； 所述基于所述第 一感知数据， 从所述第 二传感器感知到的数据中确定出与 所述第一目 标物相关的第二感知数据， 具体包括： 基于所述第 一感知数据和预先标定的时间， 从所述第 二感知数据中确定出与 所述第一 感知数据中所述第一目标物相对应的数据集 合， 所述数据集 合构成所述第二感知数据。 5.根据权利要求1 ‑3任一所述的方法， 其特 征在于， 所述方法还 包括： 基于修正后的空间参数和时间参数， 输出所述第一感知数据和/或所述第二感知数据 中所包含的至少一个目标物的目标状态数据。 6.根据权利要求5所述的方法， 其特征在于， 所述基于修正后的空间参数和时间参数， 输出所述第一感知数据和/或所述第二感知数据中所包含的至少一个目标物的目标状态数 据， 具体包括： 基于预先设定的数据转换算法， 对修正后的空间参数和时间参数进行处理， 得到所述 至少一个目标物的目标状态数据。 7.根据权利要求5所述的方法， 其特 征在于， 所述目标状态数据包括以下一项或多 项： 目标物的时空间位置， 目标物的速度， 感知到目标物的源头， 或， 目标物的点阵信息 。 8.根据权利要求1所述的方法， 其特征在于， N个所述传感器包括摄像头、 毫米波雷达、 微波雷达、 激光雷达、 可 见光设备、 红外设备或远红外设备中的一种或多种。 9.一种多源传感器的时空融合优化装置， 其特征在于， 部署于包括N个传感器的系统， N 大于或等于2， N个传感器中包括第一传感器和第二传感器， 所述第一传感器与所述第二传 感器处于同一区域， 且所述第一传感器的感知区域与所述第二传感器的感知区域之 间具有 重叠区域， 且已预先对所述第一传感器和所述第二传感器的时间和空间进 行标定， 其中， 所 述重叠区域是指不同的传感器之间的重合区域； 所述装置包括： 坐标转换模块， 用于分别将以所述第 一传感器自身为原点的第 一坐标系转换至大地坐 标系和以所述第二传感器自身为原点的第二 坐标系转换至大地 坐标系； 数据获取模块， 用于当所述第 一传感器和/或所述第 二传感器感知的所述重叠区域中n 个目标物中第一目标物与剩余的目标物之 间的距离大于预设值时， 获取所述第一传感器感 知到的与所述第一目标物相关的第一感知数据， n为大于或等于0， 其中， 所述第一目标物包 括处于静止状态的目标物或处于运动状态的目标物， 以及， 基于所述第一感知数据， 从所述 第二传感器感知到的数据中确定出与所述第一目标物相关的第二感知数据； 修正模块， 用于当所述第一目标物为处于静止状态的目标物时， 基于所述第一感知数 据中所述第一目标物的第一位置和在所述第二感知数据中与所述第一位置对应的第二位 置， 对所述第一传感器和所述第二传感器的空间标定进 行修正， 以及， 当所述第一目标物 为 处于运动状态的目标物时， 基于所述第一感知数据中所述第一目标物的运动时间和运动位 置， 以及所述第二感知数据中所述第一 目标物的运动时间和运动位置， 对所述第一传感器权　利　要　求　书 2/3 页 3 CN 114359408 A 3