(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210703145.2 (22)申请日 2022.06.21 (71)申请人 东南大学 地址 210096 江苏省南京市江宁区东 南大 学路2号 (72)发明人 殷国栋　彭湃　徐利伟　庄伟超　 祝小元　张宁　王金湘　耿可可　 高强　张辉　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 王斌 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/33(2017.01) G06T 7/246(2017.01)G06T 7/80(2017.01) (54)发明名称 激光雷达与相机在 线漂移检测方法、 校正方 法、 装置及存 储介质 (57)摘要 本发明公开了一种激光雷达与相机在线漂 移检测方法、 校正方法、 装置及存储介质， 在线漂 移检测方法包括点云与图像配准和传感器漂移 检测， 点云与图像配准包括： 在数据时域上搜索 距离激光雷达点云数据帧最近的相机图像数据 帧， 完成激光雷达和相机的数据同步； 基于同步 的数据， 通过点云配准和图像配准估计前N帧到 当前帧的激光雷达运动和相机运动； 传感器漂移 检测包括： 基于估计得到的激光雷达运动和相机 运动， 求解对应帧的激光雷达和相机间的运动偏 差； 当对应帧的激光雷达和相机间的运动偏差大 于设定阈值时， 检测当前帧是否发生传感器漂 移。 本发明方法特征提取精准、 全面且鲁棒， 泛化 性能好， 在各个方向的漂移 检测和标定精度和鲁 棒性良好。 权利要求书4页 说明书7页 附图4页 CN 115272456 A 2022.11.01 CN 115272456 A 1.一种激光雷达与相机在线漂移检测方法， 其特 征在于， 包括： 点云与图像 配准， 包括： 在数据时域上搜索距离激光雷达点云数据帧最近的相机图像数据帧， 完成激光雷达和 相机的数据同步； 基于同步的数据， 通过点云配准和图像配准估计前N帧到当前帧的激光雷达运动和相 机运动； 传感器漂移检测， 包括： 基于估计得到的激光雷达运动和相机运动， 求解对应帧的激光雷达和相机间的运动偏 差； 设定阈值， 当对应帧的激光雷达和相机间的运动偏差大于设定阈值时， 检测当前帧是 否发生传感器 漂移。 2.根据权利要求1所述的激光雷达与相机在线漂移检测方法， 其特征在于， 通过点云配 准和图像 配准估计前N帧到当前帧的激光雷达运动和相机运动， 包括： 使用原始外参Tlc将点云转换到相机坐标系中： 其中， 和 分别表示相机坐标系和激光雷达坐标系下的一个三维点， 和 分别是Tlc的旋转分量和平移分量， 表示为欧拉角的形式， 即yaw、 pitch和roll， [Rψ,Rθ,Rφ]T， 将前N帧点云 和当前点云 进行配准， 以估计帧间的 激光雷达运动 其中， 和 分别是 的旋转分量和平移分量， n＝1, 2,...,N； 提取和匹配前N帧图像Ik‑n与当前图像Ik间的特征点 然后结合相机内参K求解帧间 的本质矩阵 将本质矩阵 分解为前N帧图像Ik‑n与当前帧图像Ik之间的变换矩阵： 其中， 和 分别是 的旋转分量和平 移分量。 3.根据权利要求2所述的激光雷达与相机在线漂移检测方法， 其特征在于， 基于估计得 到的激光雷达运动和相机运动， 求 解对应帧的激光雷达和相机间的运动偏差， 包括： 求解两传感器运动的旋转部分 和 的偏差 将偏差 转化为欧拉角的形式： eψ,k‑n＝atan2(r21,r11)权　利　要　求　书 1/4 页 2 CN 115272456 A 2eφ,k‑n＝atan2(r32,r33) 其中， eψ,k‑n、 eθ,k‑n和eφ,k‑n分别表示yaw、 pitch和roll方向上的运动偏差， rij表示偏差 中的元素。 4.根据权利要求3所述的激光雷达与相机在线漂移检测方法， 其特征在于， 设定阈值， 当对应帧的激光雷达和相机间的运动 偏差大于 设定阈值时， 检测当前帧是否发生传感器漂 移， 包括： 根据前N帧和当前帧之间的激光雷达和相机运动 偏差eψ,k‑n、 eθ,k‑n和eφ,k‑n， n＝1,2,..., N， 得到偏差阈值 为 μj,k‑n‑3σj,k‑n和 μj,k‑n+3σj,k‑n， 其中， μj,k‑n和σj,k‑n分别为k‑n帧j方向 上拟合的高斯分布函数的均值和方差， j＝ ψ,φ, θ； 拟合的高斯分布函数为： 当 μj,k‑n‑3σj,k‑n≤ej,k‑n≤ μj,k‑n+3σj,k‑n时， 认为当前帧没有发生传感器 漂移； 如果任一欧拉角偏差ej,k‑n超过阈值 计算相应旋转轴上发生漂移的置信度Cj,k‑n： 考虑每一帧的最大欧拉角 偏差以及三个欧拉角 偏差的均方根， 当下式成立时， 认为当 前帧发生了传感器 漂移， 其中， α 是全局系数。 5.一种激光雷达与相机在线漂移外参校正方法， 其特 征在于， 包括： 基于权利要求1 ‑4任一所述的激光雷达与相机在线漂移检测方法对传感器 漂移检测； 对于检测结果 为传感器 漂移的， 进行传感器外参的校正。 6.根据权利要求5所述的激光雷达与相机在线漂移外参校正方法， 其特征在于， 对传感 器外参进行 校正的方法， 包括： 估计带尺度的相机运动， 将当前图像帧中的二维特征点与对应的前N帧点云中三维点 相匹配， 求 解带尺度的相机运动； 根据带尺度的相机运动， 得到前一帧和当前帧之间的运动矩阵并平均化； 平均化后将未漂移的前一帧点云转换到当前位置作为参考点云， 通过与当前漂移的点 云配准得到最终的校正外参。 7.根据权利要求6所述的激光雷达与相机在线漂移外参校正方法， 其特 征在于， 求解带尺度的相机运动的方法， 包括： 将未发生漂移的激光雷达点云Pk‑n投影到对应的图像Ik‑n上：权　利　要　求　书 2/4 页 3 CN 115272456 A 3