(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210765801.1 (22)申请日 2022.06.30 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 周勇　邵景萱　李文锋　曹小华　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 黄靖 (51)Int.Cl. G06T 17/00(2006.01) G06K 17/00(2006.01) G06N 3/04(2006.01) G06T 7/521(2017.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) (54)发明名称 基于视觉SLAM与RFID构建集装箱堆场实时 动态地图的方法及系统 (57)摘要 本发明公开一种基于视觉SLAM与RFID构建 集装箱堆场实时动态地图的方法及系统， 利用 MASK RCNN深度学习算法构建视觉SLAM语义地 图， 并利用RFID定位技补充集装箱位置信息， 最 终构建包含所有集装箱位置信息的实时动态 SLAM地图。 本发明采用RFID技术对集装箱进行跟 踪定位和自动识别， 弥补了视觉系统识别信息不 全等弊端， 它还具有能够在复杂环境下使用， 标 签可以被遮挡， 数据可更改， 可 以重复使用等优 点， 而且其成本适中。 同时RFID技术可以获取更 多集装箱的信息， 能够提高集装箱装卸的效率， 提高整个供应链的执行效率和服务水平。 通过该 技术的广泛应用， 能够有效提高集装箱装卸 作业 效率。 权利要求书2页 说明书5页 附图1页 CN 115170731 A 2022.10.11 CN 115170731 A 1.基于视觉SLAM与RFID构建集装箱堆场实时动态地图的方法， 其特征在于， 利用MASK   RCNN特征提取和RFID技 术生成集装箱堆场的实时动态三维SLAM地图， 具体包括如下步骤： S1.使用视觉SLAM系 统的深度相机对集装箱堆场进行拍摄， 获取集装箱堆场的彩色图 像和深度图像； S2.利用MASK  RCNN深度学习算法对集装箱的箱体上表面进行特征识别， 将识别到的每 一个集装箱分别进行 标记， 并结合SLAM建图技 术形成初始状态视 觉SLAM地图； S3.在每台集装箱 门式起重机的大车运行机构上安装多个RFID阅读器， 并在每个集装 箱上安装RFID标签， 标签中储 存集装箱具体信息； S4.结合RFID定位技术， 补充非表层集装箱的定位信息， 并在视觉SLAM地图上添加非表 层集装箱点云， 协同生成集装箱堆场的实时动态SLAM地图； S5.根据集装箱 门式起重机的上深度相机与RFID阅读器采集到的信息， 实时更新三维 SLAM地图。 2.根据权利要求1所述的基于视觉SLAM与RFID构建集装箱堆场实时动态地 图的方法， 其特征在于， 所述步骤S1中具体包括如下步骤， 将深度相 机安装在集装箱门式起重机小车 运行机构上， 在集装箱门式起重机开始调运集装箱之前， 先驱动所有集装箱门式起重机的 大车从行驶轨迹的端点运行到行驶轨迹的终点， 用于采集集装箱箱堆的图像， 其中图像包 括彩色信息和深度信息 。 3.根据权利要求1所述的基于视觉SLAM与RFID构建集装箱堆场实时动态地 图的方法， 其特征在于， 所述步骤S2中具体包括如下步骤， 利用Mask  RCNN深度学习算法对图像的集装 箱箱体轮廓进 行特征提取， 对集装箱的每个像素点进 行语义分割； 同时， 将集装箱中心 点像 素经过坐标变化得到中心 点在世界坐标系的实际坐标， 并在SLAM地图监控系统显示每个集 装箱的中心坐标。 4.根据权利要求1所述的基于视觉SLAM与RFID构建集装箱堆场实时动态地 图的方法， 其特征在于， 所述步骤S3中具体包括如下步骤， 将多个RFID阅读器安装在大车运行机构的 垂直车架上， 在集装箱门式起重机开始调运集装箱之前， 先驱动所有集装箱门式起重机的 大车从行驶轨迹的端点运行到行驶轨迹的终点， 用于采集集装箱上的RFID标签信息； 根据 RFID阅读器接收到信号的时间差、 偏角值以及RS SI值来判断集装箱定位信息 。 5.根据权利要求1所述的基于视觉SLAM与RFID构建集装箱堆场实时动态地 图的方法， 其特征在于， 所述步骤S4中， 根据 RFID阅读器获得的定位信息在深度相机的视觉SLAM地图 的基础上， 添加相应的点云， 完成完整的集装箱堆场三维地图。 6.一种基于视觉SLAM与RFID构建集装箱堆场实时动态地 图的系统， 其特征在于， 包括 深度相机模块、 RFID信息模块和目标识别模块， 所述深度相机模块包含安装在在集装箱门 式起重机的小 车侧边的深度相机， 所述深度相机包括双目摄像头和激光传感器； 其中， 双目 摄像头负责采集集装箱堆场的彩色图像； 激光传感器负责获取集装箱堆场的深度图像； 深 度相机采集到的信息用于生成视 觉SLAM地图。 7.根据权利 要求6所述的一种基于视觉SLAM与RFID构建集装箱堆场实时动态地图的系 统， 其特征在于， RFID信息模块包括安装在集装箱门式起重机大车的垂直车架上的RFID阅 读器和贴在每个集装箱上的RFID标签， 将集装箱的箱号、 尺寸信息和运送的货物信息编写 进RFID标签中， 分别根据每个集装箱的标签发送到读写器的RSSI值信号 强弱、 到达时间、 偏权　利　要　求　书 1/2 页 2 CN 115170731 A 2角大小等确定非表层集装箱的定位信息 。 8.根据权利 要求6所述的一种基于视觉SLAM与RFID构建集装箱堆场实时动态地图的系 统， 其特征在于， 所述 目标识别模块根据集装箱门式起重机的小车侧 边的深度相 机采集到 的彩色图像， 目标识别模块可以对视野中的集装箱和吊具分别进行实例分割， 并根据像素 点对应的深度信息， 得到集装箱上表面的中心点与吊具中心点之间的距离， 并将此信息实 时传输到集装箱门式起重 机控制中心， 指导 集装箱门式起重 机的精准调取。权　利　要　求　书 2/2 页 3 CN 115170731 A 3