(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210976552.0 (22)申请日 2022.08.15 (71)申请人 山东新一代信息产业 技术研究院有 限公司 地址 250013 山东省济南市高新区港兴三 路北段未来创业广场3号楼1 1-12层 (72)发明人 李志芸　王本强　马辰　高明　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 董延丽 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01S 17/66(2006.01) (54)发明名称 一种多传感器融合的障碍物跟踪方法、 装 置、 设备及 介质 (57)摘要 本说明书实施例公开了一种多传感器融合 的障碍物跟踪方法、 装置、 设备及介质， 方法包 括： 获取室外机器人的雷达传感数据和图像传感 数据， 基于雷达传感数据确定当前场景的三维障 碍物数据， 并基于图像传感数据确定当前场景的 二维障碍物数据； 对二维障碍物数据与三维障碍 物数据进行融合判断， 获得激光雷达障碍物列表 与未融合 成功的相机障碍物列表； 将激光雷达障 碍物列表， 输入到室外机器人的跟踪节点中获得 第一障碍物跟踪列表； 将多个相机检测的障碍物 列表与相机障碍物列表进行去重， 获得相机目标 障碍物列表， 将相机目标障碍物列表进行跟踪检 测获得第二障碍物跟踪列表； 将第一障碍物跟踪 列表与第二障碍物跟踪列表进行合并， 获得室外 机器人的跟踪列表。 权利要求书3页 说明书11页 附图4页 CN 115393393 A 2022.11.25 CN 115393393 A 1.一种多传感器融合的障碍物 跟踪方法， 其特 征在于， 所述方法包括： 获取室外机器人的雷达传感数据和图像传感数据， 以基于所述雷达传感数据确定当前 场景的三维障碍物数据， 并基于所述图像传感数据确定当前场景的二维障碍物数据； 对所述二维障碍物数据与 所述三维障碍物数据进行融合判断， 获得所述三维障碍物数 据所对应的激光雷达障碍物列表与未融合成功的二维障碍物数据所对应的相机障碍物列 表； 将所述激光雷达障碍物列表中的障碍物信息， 输入到所述室外机器人的跟踪节点中， 获得第一障碍物 跟踪列表； 将多个相机检测的障碍物列表与 所述相机障碍物列表进行去重融合， 获得融合成功的 相机目标障碍物列 表， 并将所述相机目标障碍物列 表中的障碍物信息输入到所述室外机器 人的跟踪节点中， 获得第二障碍物 跟踪列表； 将所述第一障碍物跟踪列表与所述第 二障碍物跟踪列表进行合并， 获得所述室外机器 人的跟踪列表。 2.根据权利要求1所述的一种 多传感器融合的障碍物跟踪方法， 其特征在于， 基于所述 雷达传感数据确定 当前场景的三 维障碍物数据， 并基于所述图像传感数据确定 当前场景的 二维障碍物数据， 具体包括： 通过预设目标检测模型Yo lox对所述二维图像数据进行检测， 获得二维障碍物数据； 对所述三维点云数据进行 下采样获得待分析三维点云数据； 获取所述待分析三维点云数据中任意一个待分析三维点云数据， 并基于预设平衡二叉 树算法获得 所述任意 一个待分析三维点云数据与其 他待分析三维点云数据的距离； 将小于预设距离阈值的其他待分析三维点云数据划分到预设第 一集合中， 获取所述预 设第一集合中任意一个待分析三 维点云数据进 行迭代分析， 实现所述三 维点云数据的聚类 分析， 获得当前场景中的三维障碍物数据。 3.根据权利要求2所述的一种 多传感器融合的障碍物跟踪方法， 其特征在于， 所述对所 述二维障碍物数据与所述 三维障碍物数据进行融合判断之前， 所述方法还 包括： 对所述室外 机器人上预置的相机进行 标定， 以获取 所述相机的内部参数； 将所述三维障碍物数据的坐标作为预设的参考坐标， 通过相机位姿估计算法将三维障 碍物数据与所述二维障碍物数据的相机坐标系进 行联合， 以获取所述室外机器人上预置的 相机与激光雷达的外 部参数矩阵； 基于所述外部参数矩阵与 所述内部参数矩阵的联合计算， 获得激光雷达坐标系与相机 坐标系的转换关系； 基于所述转换关系将所述三维障碍物数据向所述相机坐标系的平面进行投影， 获得所 述三维障碍物数据在所述 二维障碍物数据所在平面的二维检测框 。 4.根据权利要求3所述的一种 多传感器融合的障碍物跟踪方法， 其特征在于， 所述对所 述二维障碍物数据与所述 三维障碍物数据进行融合判断， 具体包括： 将所述二维障碍物数据与所述 三维障碍物数据输入同一ROS节点； 在所述ROS节点， 获取通过预设目标检测模型Yolox对所述二维图像数据进行检测的 Yolox检测框； 获取所述二维检测框与所述Yolox检测框的交叉面积以及所述二维检测框与所述权　利　要　求　书 1/3 页 2 CN 115393393 A 2Yolox检测框的去重面积； 根据所述交叉面积和所述去重面积获得IOU面积， 以基于所述IOU面积与预设IOU面积 的阈值， 判断所述 二维障碍物数据与所述 三维障碍物数据是否融合。 5.根据权利要求1所述的一种 多传感器融合的障碍物跟踪方法， 其特征在于， 所述将所 述激光雷达障碍物列表中的障碍物信息， 输入到所述室外机器人 的跟踪节点中， 获得第一 障碍物跟踪列表， 具体包括： 获取所述室外机器人的预设跟踪轨迹， 基于卡尔曼滤波器对所述预设跟踪轨迹的运动 估计， 获取 所述激光雷达障碍物列表中当前的跟踪障碍物； 根据所述激光雷达列表中的障碍物信 息， 计算所述跟踪障碍物与所述激光雷达障碍物 列表中各障碍物的IOU距离， 获得 所述室外 机器人的跟踪代价矩阵； 将所述跟踪代价矩阵输入预设匈牙利算法对所述激光雷达障碍物列表所对应的各障 碍物进行匹配， 获得第一障碍物 跟踪列表。 6.根据权利要求3所述的一种 多传感器融合的障碍物跟踪方法， 其特征在于， 所述将多 个相机检测的障碍物列 表与所述相机障碍物列表进行去重融合， 获得融合成功的相机目标 障碍物列表， 具体包括： 基于所述相机坐标系将所述多个相机检测的障碍物列表转换到同一 坐标系； 获取所述多个相机在所述同一 坐标系下的视野重合区域； 根据所述多个相机检测的障碍物列表与 所述相机障碍物列表中各个障碍物的标识， 与 各所述障碍物的位置坐标， 获取 所述视野重合区域的重合障碍物； 基于所述重合障碍物对所述多个相机检测的障碍物列表与所述相机障碍物列表进行 去重融合， 获得融合成功的相机目标障碍物列表。 7.根据权利要求1所述的一种 多传感器融合的障碍物跟踪方法， 其特征在于， 所述将所 述相机目标障碍物列 表的障碍物信息输入到所述室外机器人的跟踪节点中， 获得第二障碍 物跟踪列表， 具体包括： 获取所述室外机器人的预设跟踪轨迹， 基于卡尔曼滤波器对所述预设跟踪轨迹的运动 估计， 获取 所述相机目标障碍物列表中当前的跟踪障碍物； 根据所述相机目标障碍物列表中的障碍物信 息， 计算所述跟踪障碍物与所述相机目标 障碍物列表中各障碍物的IOU距离， 获得 所述相机的跟踪代价矩阵； 将所述跟踪代价矩阵输入预设匈牙利算法对所述相机目标障碍物列表所对应的各障 碍物进行匹配， 获得第二障碍物 跟踪列表。 8.一种多传感器融合的障碍物 跟踪装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取室外机器人的雷达传感数据和图像传感数据， 以基于所述雷达传 感数据确定 当前场景的三 维障碍物数据， 并基于所述图像传感数据确定当前场景的二维障 碍物数据； 第一融合单元， 用于对所述二维障碍物数据与所述三维障碍物数据进行融合判断， 获 得所述三维障碍物数据所对应的激光雷达障碍物列表与未融合成功的二维障碍物数据所 对应的相机障碍物列表； 输入单元， 用于将所述激光雷达障碍物列表中的障碍物信息， 输入到所述室外机器人 的跟踪节点中， 获得第一障碍物 跟踪列表；权　利　要　求　书 2/3 页 3 CN 115393393 A 3