(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210276734.7 (22)申请日 2022.03.21 (71)申请人 深圳海星智驾科技有限公司 地址 518110 广东省深圳市龙华区观湖街 道鹭湖社区澜清一路6号1号研发楼 801 (72)发明人 王发平　邵鹏韬　姜波　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 沈惠娟 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 20/00(2022.01) G06V 10/46(2022.01)G06V 10/74(2022.01) G01C 21/00(2006.01) G01C 21/16(2006.01) G01S 17/86(2020.01) G01S 17/89(2020.01) G01S 17/931(2020.01) (54)发明名称 一种基于激光雷达的三 维目标感知方法、 装 置及系统 (57)摘要 本发明公开了一种基于激光雷达的三维目 标感知方法、 装置及系统， 其中方法包括： 将RGBD 数据及IMU数据输入到SLA M的追踪线 程中得到当 前帧的传感器位姿、 二维特征点和三维地图点； 根据传感器位姿得到投影矩阵； 将当前帧对应的 图片输入到目标检测网络中得到目标的二维检 测框； 根据二维检测框在当前帧中的位置、 传感 器位姿和投影矩阵进行椭球拟合得到椭球P； 将 椭球P采用投影矩阵进行投影得到投影椭圆p1； 在二维检测框内拟合一个最大的内切椭圆得到 第一椭圆o1； 利用o1与p1构建重投影误差项1； 将 误差项1加入到BA优化中优 化椭球P。 由此可以在 BA优化中加入SLAM中的定位结果， 帮助椭球准确 地描述目标物体 。 权利要求书3页 说明书8页 附图3页 CN 114662587 A 2022.06.24 CN 114662587 A 1.一种基于 激光雷达的三维目标感知方法， 其特 征在于， 包括： 将RGBD数据及IMU数据输入到SLAM的追踪线程中， 得到当前帧的传感器位姿、 所述当前 帧的二维特 征点和所述当前帧的三维地图点； 根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵； 将所述当前帧对应的图片输入到预设的目标检测网络中得到目标的二维检测框； 根据二维检测框在所述当前帧中的位置、 所述当前帧的传感器位姿和所述当前帧的投 影矩阵进行椭球拟合， 得到椭球P； 将所述椭球P采用所述当前帧的投影矩阵投影到二维平面中得到所述椭球P的投影椭 圆p1； 在所述二 维检测框内拟合一个最大的内切椭圆， 得到第一椭圆o 1； 利用所述第一椭圆 o1与所述投影椭圆p1构建重投影误差项， 得到误差项1； 将所述误差项1加入到BA优化中， 优化所述椭球P。 2.根据权利要求1所述的方法， 其特征在于， 在将RGBD数据输入到SLAM的追踪线程之 前， 还包括： 分别获取相机的RBG图像数据和激光雷达的点云数据； 获取预设的外参标定数据； 根据所述RBG图像数据、 所述点云数据和所述外参标定数据， 得到所述激光雷达与所述 相机之间的准确外参数据； 利用所述准确外参数据和预设的相机内参数据， 将所述点云数据投影至二维像素屏 幕； 使用平滑化算法， 将投影后的点云数据转 化为像素平面的深度数据； 将所述深度数据与RGB图像数据结合， 得到RGBD数据。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述当前帧的传感器位姿得到所 述当前帧的投影矩阵包括： 获取预设的相机内参数据； 根据所述相机内参数据和所述当前帧的传感器位姿， 得到所述当前帧的投影矩阵， 其 中所述传感器包括相机和激光雷达 。 4.根据权利要求1所述的方法， 其特征在于， 根据二维检测框在所述当前帧中的位置、 所述当前帧的传感器位姿和所述当前帧的投影矩阵进行椭球拟合， 得到椭球P包括： 根据所述二维检测框在所述当前帧中的位置及所述当前帧的传感器位姿， 利用所述当 前帧的投影矩阵将所述二 维检测框投影到三 维空间中， 得到四个垂 直于相机平面的约束平 面； 根据所述当前帧中所述二维检测框 内的二维特征点的语义信 息， 得到所述目标的三维 语义对象点； 根据所述目标的三维语义对象点， 形成两个平行于相机平面的约束平面； 根据六个约束平面构成的立方体空间内拟合 一个最大内切椭球， 得到椭球P。 5.根据权利要求1～4任一项所述的方法， 其特 征在于， 还 包括： 将所述当前帧的三维地图点利用所述当前帧的投影矩阵投影至二维平面， 并计算与 所 述当前帧的二维特 征点的误差， 得到误差项2； 将所述误差项2加入到BA优化中， 优化所述椭球P。权　利　要　求　书 1/3 页 2 CN 114662587 A 26.根据权利要求5所述的方法， 其特征在于， 将所述误差项1和所述误差项2加入到BA优 化中， 优化所述椭球P包括： 将所述误差项1和所述误差项2加入到所述BA优化中， 锁定所述误差项2中的参数， 开放 所述椭球P的数学表达式， 将椭球作为可变参数， 使用梯度下降算法寻找最小化所述误差项 1和所述误差项2的椭球体参数， 得到初步优化后的椭球P； 其中所述误差项2中的参数包括 传感器位姿和所述 三维地图点的位置； 开放所述BA优化中对误差项2的锁定， 通过最小化误差项1与所述误差项2的误差合， 优 化所述三维地图点、 所述传感器位姿和所述初步优化后的椭球P， 得到优化后的三维地图 点、 优化后的传感器位姿和二次优化后的椭球P。 7.根据权利要求6所述的方法， 其特征在于， 在通过最小化误差项1与误差项2的误差 合， 优化所述 三维地图点和所述传感器位姿之后， 还 包括： 根据所述二次优化后的椭球P得到SLAM地图中目标的目标椭球， 将所述目标椭球投影 到地平面上 得到二维目标地图； 将所述二维目标地图与离线目标地图进行优化匹配， 构建两者的匹配误差项3， 并通过 优化方法得到使得 所述误差项3最小化的变换矩阵； 根据所述变换矩阵， 将SLAM里程计投影到地平面， 得到在所述离线目标地图坐标系下 的实时SLAM 定位信息 。 8.根据权利要求7所述的方法， 其特征在于， 在得到在所述离线目标地图坐标系下的实 时SLAM定位信息之后， 还 包括： 将所述误差项1、 所述误差项2和所述误差项3加入BA优化式， 同时优化所述传感器位 姿、 所述三维地图点 位置、 所述椭球P的表达式， 使得综合 误差最小化并得到优化后的数据。 9.一种基于 激光雷达的三维目标感知装置， 其特 征在于， 包括： 追踪模块， 用于将RGBD数据及IMU数据输入到SLAM的追踪线程中， 得到当前帧的传感器 位姿、 所述当前帧的二维特 征点和所述当前帧的三维地图点； 投影矩阵确定模块， 用于根据所述当前帧的传感器位姿得到所述当前帧的投影矩阵； 二维检测框确定模块， 用于将所述当前帧对应的图片输入到预设的目标检测网络 中得 到目标的二维检测框； 椭球拟合模块， 用于根据二维检测框在所述当前帧中的位置、 所述当前帧的传感器位 姿和所述当前帧的投影矩阵进行椭球拟合， 得到椭球P； 将所述椭球P采用所述当前帧的投 影矩阵投影到二维平面中得到所述椭球P的投影椭圆p1； 在所述二维检测框内拟合一个最 大的内切椭圆， 得到第一椭圆o1； 误差项构建模块， 用于利用所述第一椭圆o1与所述投影椭圆p1构建重投影误差项， 得 到误差项1； BA优化模块， 用于将所述 误差项1加入到BA优化中， 优化所述椭球P。 10.一种基于 激光雷达的三维目标感知系统， 其特 征在于， 包括： 相机； 激光雷达； 存储器和处理器， 所述相机、 所述激光雷达、 所述存储器和所述处理器之间互相通信连 接， 所述存储器中存储有计算机指令， 所述处理器通过执行所述计算机指 令， 从而执行权利权　利　要　求　书 2/3 页 3 CN 114662587 A 3