(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210262541.6 (22)申请日 2022.03.17 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 金聪　朱鹏飞　杨柳　胡清华　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李林娟 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G01C 21/00(2006.01) (54)发明名称 一种基于机器人的实时语义地图生成方法 及装置 (57)摘要 本发明公开了一种基于机器人的实时语义 地图生成方法及装置， 所述方法包括： 将拓扑地 图生成方式与深度学习特征提取相结合， 在机器 人遍历环境时两者相互并行运算并在特征聚合 时进行关联和数据融合， 当机器人遍历环境完成 时实时输 出带有语义信息的拓扑地图。 所述装置 包括： 处理器和存储器。 本发明结合了两种拓扑 图的构建方式来生成新的语义地图， 并提出了新 的基于深度学习和拓扑图像结合的图像特征聚 合， 提高了路径规划的精度， 进而提高了机器人 的服务质量。 权利要求书1页 说明书8页 附图2页 CN 115147637 A 2022.10.04 CN 115147637 A 1.一种基于机器人的实时语义地图生成方法， 其特征在于， 所述方法将拓扑地图生成 方式与深度学习特征提取相结合， 在机器人遍历环境时两者相互并行运算并在特征聚合时 进行关联和数据融合， 当机器人遍历环境完成时实时输出带有语义信息的拓扑地图， 具体 步骤包括： 将通过ImageNet预训练的残差神经网络作为图像的特征提取器， 根据图像Ik确定拓扑 节点信息， 获取拓扑节点与图像的坐标信息联系， 以拓扑节点与图像的欧式距离来判断是 否建立拓扑节点以及拓扑节点与图像的从属关系； 若地图中没有节点信 息或图像与 所有节点的欧式距离均 大于阈值， 则表示需要重新开 辟一个新的节点信息， 新节点的坐标与角度为获取该图像信息时的坐标角度， 对拓扑节点 的语义信息节点进行填充， 将图像视觉信息聚合在节点中， 将视觉信息通过特征融合的场 景识别来获取场景地 点， 同时通过目标检测获取 特征目标； 通过场景地 点和特征目标的特 征结果信息来丰富节点语义信息 。 2.根据权利要求1所述的一种基于机器人的实时语义地图生成方法， 其特征在于， 所述 残差神经网络为： 输入层为机器人设备RGB传感器获取的带有坐标信息的图像， 中间利用卷积核得到初 始特征图， 利用残差层从初始特征图中提取特征， 得到最 终的特征图， 最后利用平均池化输 出某一维度的图像特 征向量， 将获取的图像场景表征用于聚合叠加到 拓扑节点中。 3.根据权利要求1所述的一种基于机器人的实时语义地图生成方法， 其特征在于， 所述 将视觉信息通过 特征融合的场景识别来获取场景地 点具体为： 向量Fk为当前检测图像特征， 用于更新聚合节点特征信息的， 表示第j个节点的累计向 量， 从初始值 开始计算， 表示当前节点聚合了第一张RGB图像的特征向量F1， k表示输入的 属于同一节点的图像序列为第k张， 表示累计k张图像的累计融合特征， 则表示 在 融合第k张图像前的累计融合特 征， 具体融合 为： 其中， 是上一序列的特征融合累计向量， 当前融合的特征向量 为上一序列或上一 序列的特 征向量线性叠加上图像特 征向量Fk与 的差值与超参数 μ 的乘积。 4.一种基于机器人的实时语义地图生成装置， 其特征在于， 所述装置包括： 处理器和存 储器， 所述存储器中存储有程序指令， 所述处理器调用存储器中存储的程序指令以使装置 执行权利要求1 ‑3中的任一项所述的方法步骤。 5.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序包括程序指令， 所述程序指令被处理器执行时使所述处理器执行权利 要求1‑3中的任一项所述的方法步骤。权　利　要　求　书 1/1 页 2 CN 115147637 A 2一种基于机 器人的实时语 义地图生成方 法及装置 技术领域 [0001]本发明涉及机器人领域， 尤其涉及一种基于机器人的实时语义地图生成方法及装 置。 背景技术 [0002]在当今社会， 智能机器人已经得到了一定程度的普及和应用。 例如： 餐厅或者酒店 机器人的送餐送卫生物品的服务。 家里 的垃圾清理机器人。 银行、 商场的前台迎宾机器人。 室外的快递寄送机器人， 一些舞蹈娱乐机器人。 包括最近国内外大力研究 的自动驾驶技术。 本质上就是将汽车当作了智能机器设备， 来替人类完成驾驶任务。 其需要提取环境语义信 息， 理解开放的环 境， 这些技术 都是可以应用于不同领域的机器人当中。 语义地图的算法研 究一定程度上能促进机器人在未来的发展中变得 更加智能， 能够完成更 具挑战性的任务。 [0003]室内服务型机器人的运行离不开室内地图的构建， 只 有有效的地图才能支撑机器 人完成人类的各项指令。 由同时定位与建图算法(SLAM)生成的2D栅格地图不具有语义信 息。 只包含地图的相对坐标系与一些简单 的位置关系， 当人类发出一个指令去客厅拿一本 书时， 机器人无法理解客厅是什么， 以及什么是书， 因此需要通过一些算法实现让地图富含 语义信息。 因此就出现了基于深度学习和视觉信息的语义地图构建算法， 但是这样构建的 语义地图仍然 具有一定的缺陷。 首先， 这类地图的存储数据量为图像存储， 机器人实时的图 像构建过程对嵌入式设备 的图像处理器要求过高。 另外， 普通的语义地图虽然具有很好的 可视化效果， 但是， 在定位于导 航的过程中， 路径规划的难度较高。 发明内容 [0004]本发明提供了一种基于机器人的实时语义地图生成方法及装置， 本发明结合了两 种拓扑图的构建方式来生成新的语义地图， 并提出了新的基于深度学习和拓扑图像结合的 图像特征聚合， 提高了路径规划的精度， 进 而提高了 机器人的服 务质量， 详见 下文描述： [0005]第一方面， 一种基于机器人的实时语义地图生成方法， 所述方法将拓扑地图生成 方式与深度学习特征提取相结合， 在机器人遍历环境时两者相互并行运算并在特征聚合时 进行关联和数据融合， 当机器人遍历环境完成时实时输出带有语义信息的拓扑地图， 具体 步骤包括： [0006]将通过ImageNet预训练的残差神经网络作 为图像的特征提取器， 根据图像Ik确定 拓扑节点信息， 获取拓扑节点与图像的坐标信息联系， 以拓扑节点与图像的欧式距离来判 断是否建立拓扑节点以及拓扑节点与图像的从属关系； [0007]若地图中没有节点信息或图像与所有节点的欧式距离均大于阈值， 则表示需要重 新开辟一个新的节点信息， 新节点的坐标与角度为获取该图像信息时的坐标角度， 对拓扑 节点的语义信息节点进行填充， 将图像视觉信息聚合在节点中， 将视觉信息通过特征融合 的场景识别来获取场景地 点， 同时通过目标检测获取 特征目标； [0008]通过场景地 点和特征目标的特 征结果信息来丰富节点语义信息 。说　明　书 1/8 页 3 CN 115147637 A 3