(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210526529.1 (22)申请日 2022.05.16 (65)同一申请的已公布的文献号 申请公布号 CN 114619453 A (43)申请公布日 2022.06.14 (73)专利权人 深圳市普 渡科技有限公司 地址 518051 广东省深圳市南 山区西丽 街 道西丽社区打石一路深圳国际创新谷 1栋A座501 (72)发明人 闫瑞君　武永明　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 赖舒娴 (51)Int.Cl. B25J 9/16(2006.01)G01C 21/00(2006.01) G06T 7/73(2017.01) (56)对比文件 CN 113674424 A,2021.1 1.19 CN 113326769 A,2021.08.31 CN 113160270 A,2021.07.23 CN 112917467 A,2021.0 6.08 CN 107808407 A,2018.0 3.16 US 2020240793 A1,2020.07.3 0 CN 1078451 14 A,2018.0 3.27 审查员 王慰慰 (54)发明名称 机器人、 地图构建方法及计算机可读存储介 质 (57)摘要 本申请涉及一种机器人、 地图构建方法及计 算机可读存储介质， 具体地： 获取多帧关键帧中 每一关键帧对应的初始位姿、 多帧关键帧中相邻 关键帧的帧间约束关系和多帧关键帧的回环约 束关系； 根据多帧关键帧中相邻帧的帧间约束关 系和多帧关键帧的回环约束关系， 对多帧关键帧 中每一关键帧对应的初始位姿进行优化， 得到多 帧关键帧中每一关键帧对应的优化位姿； 基于多 帧关键帧、 多帧关键帧中每一关键帧对应的优化 位姿、 多个地图点、 多帧关键帧中相邻关键帧的 帧间约束关系和多帧关键帧的回环约束关系构 建机器人的视觉地图的步骤。 本申请提供的地图 构建方法能够避免直接进行全局优化导致的优 化效果差的问题， 且能够提高构建的视觉地图的 质量以及地图的精度。 权利要求书3页 说明书16页 附图6页 CN 114619453 B 2022.09.20 CN 114619453 B 1.一种机器人， 其特征在于， 所述机器人包括存储器和处理器， 所述存储器中存储有可 执行程序代码， 所述处 理器用于执 行所述可执行程序代码时实现如下步骤： 获取多帧关键帧中每一关键帧对应的初始位姿、 所述多帧关键帧中相邻关键帧的帧间 约束关系和所述多帧关键帧的回环约束关系； 根据所述多帧关键帧中相邻帧的帧间约束关系和所述多帧关键帧的回环约束关系， 对 所述多帧关键帧中每一关键帧对应的初始位姿进 行优化， 得到所述多帧关键帧中每一关键 帧对应的优化 位姿； 基于所述多帧关键帧、 所述多帧关键帧中每一关键帧对应的优化位姿、 多个地图点、 所 述多帧关键 帧中相邻关键 帧的帧间约束关系和所述多帧关键 帧的回环约束关系构建所述 机器人的视 觉地图。 2.根据权利要求1所述的机器人， 其特征在于， 所述基于所述多帧关键帧、 所述多帧关 键帧中每一关键帧对应的优化位姿、 多个地图点、 所述多帧关键帧中相邻 关键帧的帧间约 束关系和所述多帧关键帧的回环约束关系构建所述机器人的视 觉地图， 包括： 从所述多帧关键帧中确定与多个地图点中每 个地图点具有观测关系的关联关键帧； 根据所述关联关键帧对应的优化位姿通过三角化方法确定所述多个地图点中每个地 图点的初始三维位置； 基于所述多帧关键帧、 所述多帧关键帧中每一关键帧对应的优化位姿、 所述多个地图 点、 所述多个地图点中每个地图点的初始三维位置、 所述多帧关键帧中相邻 关键帧的帧间 约束关系和所述多帧关键帧的回环约束关系构建所述机器人的视 觉地图。 3.根据权利要求2所述的机器人， 其特征在于， 所述基于所述多帧关键帧、 所述多帧关 键帧中每一关键帧对应的优化位姿、 所述多个地图点、 所述多个地图点中每个地图点的初 始三维位置、 所述多帧关键帧中相邻关键帧的帧间约束关系和所述多帧关键帧的回环约束 关系构建所述机器人的视 觉地图， 包括： 根据所述多个地图点中每个地图点的初始三维位置、 所述多个地图点中每个地图点与 相应关联关键帧中相应像素的关联关系、 利用重投影方法确定所述多个地图点中每个地图 点与相应关联关键帧中相应 像素的重投影约束关系； 基于所述多帧关键帧、 所述多帧关键帧中每一关键帧对应的优化位姿、 所述多个地图 点、 所述多个地图点中每个地图点的初始三维位置、 所述多帧关键帧中相邻 关键帧的帧间 约束关系、 所述多帧关键帧的回环约束关系以及所述重投影约束关系构建所述机器人的视 觉地图。 4.根据权利要求3所述的机器人， 其特征在于， 所述基于所述多帧关键帧、 所述多帧关 键帧中每一关键帧对应的优化位姿、 所述多个地图点、 所述多个地图点中每个地图点的初 始三维位置、 所述多帧关键帧中相邻 关键帧的帧间约束关系、 所述多帧关键帧的回环约束 关系以及所述重投影约束关系构建所述机器人的视 觉地图， 包括： 根据所述多帧关键帧中相邻关键帧的帧间约束关系、 所述多帧关键帧的回环约束关系 以及所述重投影约束关系， 对所述多帧关键帧中每一关键帧对应的优化位姿及所述多个地 图点中每个地图点的初始三 维位置进 行优化， 得到所述多帧关键帧中每一关键帧对应的目 标位姿以及所述多个地图点中每 个地图点的目标三维位置； 根据所述多帧关键帧、 所述多帧关键帧中每一关键帧对应的目标位姿、 所述多个地图权　利　要　求　书 1/3 页 2 CN 114619453 B 2点以及所述多个地图点中每 个地图点的目标三维位置构建所述机器人的视 觉地图。 5.根据权利要求1所述的机器人， 其特征在于， 所述机器人搭载有定位传感器和视觉传 感器， 所述处 理器用于执 行所述可执行程序代码  时还实现如下步骤： 通过所述视觉传感器采集多帧图像， 和通过所述定位传感器采集所述多帧图像中每一 帧图像对应的位姿； 从所述多帧图像中选择满足第一预设规则的图像作为所述多帧关键帧； 将所述多帧关键帧中每一关键帧对应的位姿作为所述多帧关键帧中每一关键帧对应 的初始位姿。 6.根据权利要求5所述的机器人， 其特征在于， 所述处理器用于执行所述可执行程序代 码 时还实现如下步骤： 对所述多帧关键帧进行回环检测， 从所述多帧关键帧中得到目标关键帧， 其中， 所述目 标关键帧至少包括两帧关键帧； 基于所述目标关键帧之间的关系确定所述多帧关键帧的回环约束关系。 7.根据权利要求5所述的机器人， 其特征在于， 所述对所述多帧关键帧进行回环检测， 从所述多帧关键帧中得到目标关键帧， 包括： 从所述多帧关键帧中确定参 考关键帧； 从所述多帧关键帧中确定比较关键帧， 其中， 所述参考关键帧对应的第一时间早于所 述比较关键帧对应的第二时间； 将所述参考关键帧中的第 一角点信 息与所述比较关键帧中的第 二角点信 息进行匹配， 得到所述第一角点信息与所述第二角点信息的匹配成功率； 若所述匹配成功率大于预设阈值， 则将所述比较关键帧的第 一位移与 所述参考关键帧 的第二位移的位移差值与距离阈值进行比较； 若所述位移差值大于所述距离阈值， 则将所述比较关键帧和所述参考关键帧作为所述 目标关键帧。 8.根据权利要求7所述的机器人， 其特征在于， 所述处理器用于执行所述可执行程序代 码 时还实现如下步骤： 若所述匹配成功率小于等于所述预设阈值， 则返回执行从所述多帧关键帧中确定比较 关键帧的步骤， 直至确定出匹配成功率大于所述预设阈值的比较关键帧； 根据匹配成功率大于所述预设阈值的比较关键帧以及所述参考关键帧， 确定所述目标 关键帧。 9.一种地图构建方法， 其特 征在于， 包括： 获取多帧关键帧中每一关键帧对应的初始位姿、 所述多帧关键帧中相邻关键帧的帧间 约束关系和所述多帧关键帧的回环约束关系； 根据所述多帧关键帧中相邻帧的帧间约束关系和所述多帧关键帧的回环约束关系， 对 所述多帧关键帧中每一关键帧对应的初始位姿进 行优化， 得到所述多帧关键帧中每一关键 帧对应的优化 位姿； 基于所述多帧关键帧、 所述多帧关键帧中每一关键帧对应的优化位姿、 多个地图点、 所 述多帧关键 帧中相邻关键 帧的帧间约束关系和所述多帧关键 帧的回环约束关系构建视觉 地图。权　利　要　求　书 2/3 页 3 CN 114619453 B 3