(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210890728.0 (22)申请日 2022.07.27 (71)申请人 潍柴智能科技有限公司 地址 261061 山东省潍坊市高新区清池街 道永春社区潍安路169号3幢102室 (72)发明人 张驰　王学鹏　任德轩　李泊宽　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 王雪 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/13(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G01C 21/00(2006.01)G01C 22/00(2006.01) (54)发明名称 一种基于稀疏直接法计算视觉里程计的单 目SLAM方法及系统 (57)摘要 本发明属于智能驾驶系统领域， 提供了一种 基于稀疏直接法计算视觉里程计的单目SLAM方 法及系统。 该方法包括， 获取传感器数据， 对所述 传感器数据创建关键帧； 通过跟踪新帧位置计算 新帧位姿， 并判断其是否为 关键帧， 若不是， 则通 过跟踪新帧位置更新未成熟点， 然后创建关键 帧； 若是， 则通过跟踪新帧位置更新未成熟点， 此 时不需要创建关键帧； 根据所述已经更新的未成 熟点， 通过边缘化地图点标记需要删除的帧； 将 删除后所剩下帧里的新关键帧加入后端进行非 线性优化处理， 将旧的地图点投影至新关键帧， 产生残差项； 通过激活点将未成熟点转化为地图 点， 接着执行后端非线性优化， 移除外点并提取 新的未成熟点， 最后更新地图数据， 以此创建地 图。 权利要求书2页 说明书10页 附图2页 CN 115375730 A 2022.11.22 CN 115375730 A 1.基于稀疏直接法计算视 觉里程计的单目SLAM方法， 其特 征在于， 获取传感器数据， 对所述传感器数据创建 关键帧； 通过跟踪新帧位置计算新帧位姿， 并判断其是否为关键帧， 若不是， 则通过跟踪新帧位 置更新未成熟点， 然后创建关键帧； 若是， 则通过跟踪新帧位置更新未成熟点， 此时不需要 创建关键帧； 根据所述已经 更新的未成熟点， 通过边 缘化地图点标记需要删除的帧； 将删除后所剩下帧里的新关键帧加入后端进行非线性优化处理， 将旧的地图点投影至 新关键帧， 产生残差项； 通过激活点将未成熟点转化为地图点， 接着执行后端非线性优化， 移除外点并提取新 的未成熟点， 最后更新 地图数据， 以此创建地图。 2.根据权利要求1所述的基于稀疏直接法计算视觉里程计的单目SLAM方法， 其特征在 于， 所述产生残差项的过程包括： 根据未成熟点， 确定所述未成熟点的逆深度和变化范围； 若所述未成熟点的逆深度收敛， 则确定该未成熟点的三维坐标， 形成一个正常的地图 点； 通过若干个关键帧 以及每个帧上带有的关键点描述滑动窗口所有信 息， 让所有关键点 在除了主导帧的任意 一帧中进行投影， 形成一个残差项。 3.根据权利要求1所述的基于稀疏直接法计算视觉里程计的单目SLAM方法， 其特征在 于， 当新的关键帧被创建时， 所有激活的地图点投影到该帧上， 从而创建半稠密地图； 当新 帧产生时， 仅相对最近关键帧进行图像直接配准， 完成跟追踪； 获取设定数量的关键帧， 边 缘化冗余关键帧。 4.根据权利要求3所述的基于稀疏直接法计算视觉里程计的单目SLAM方法， 其特征在 于， 所述边缘化冗余关键帧的过程包括： 保有最新的关键帧I1和关键帧I2； 在关键帧I1中可见的点少于 5％的帧被边 缘化； 如果激活的关键帧多于设定数值， 则边 缘化距离最大的关键帧。 5.根据权利要求1所述的基于稀疏直接法计算视觉里程计的单目SLAM方法， 其特征在 于， 所述创建新关键帧具体包括： 当视角变化时， 会创建新的关键帧。 6.根据权利要求1所述的基于稀疏直接法计算视觉里程计的单目SLAM方法， 其特征在 于， 所述创建新关键帧具体包括： 当相机平 移导致遮挡或遮挡去除时， 会创建新的关键帧； 或者， 当曝光时间大于设定的变化范围时， 会创建新的关键帧。 7.根据权利要求1所述的基于稀疏直接法计算视觉里程计的单目SLAM方法， 其特征在 于， 所述激活点 生成的具体过程包括： 将获取图像数据分成若干块， 在每个块中选择具有最大梯度的像素点， 如果超过区域 自适应阈值， 则将其选为 候选点， 否则， 不从该块中选择候选点； 追踪候选点， 在后续帧中沿着候选点的极线进行离散化搜索， 从而最小化光度误差， 计 算候选点深度值及其方差， 用于约束后续帧搜索空间； 激活候选点， 在一组旧点被边缘化之后， 需要激活候选点以替换被边缘化的旧点， 将所 有激活点投影到最近的关键帧上， 然后激活与现有地图点距离最大候选点。权　利　要　求　书 1/2 页 2 CN 115375730 A 28.基于稀疏直接法计算视 觉里程计的单目SLAM系统， 其特 征在于， 包括： 获取模块， 其被 配置为： 获取传感器数据， 对所述传感器数据创建 关键帧； 判断模块， 其被配置为： 通过跟踪新帧位置计算新帧位姿， 并判断其是否为关键帧， 若 不是， 则通过跟踪新帧位置更新未成熟点， 然后创建关键帧； 若是， 则通过跟踪新帧位置更 新未成熟点， 此时不需要创建 关键帧； 更新模块， 其被配置为： 根据 所述已经更新的未成熟点， 通过边缘化地图点标记需要删 除的帧； 优化模块， 其被配置为： 将删除后所剩下帧里的新关键帧加入后端进行非线性优化处 理， 将旧的地图点投影至新关键帧， 产生残差项； 创建模块， 其被配置为： 通过激活点将未成熟点转化为地图点， 接着执行后端非线性优 化， 移除外点并提取新的未成熟点， 最后更新 地图数据， 以此创建地图。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项所述的基于稀疏直接法计算视觉里程计的单目SLAM方法 中的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于稀疏直接法计算视 觉里程计的单目SLAM方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115375730 A 3