(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210059418.4 (22)申请日 2022.01.19 (65)同一申请的已公布的文献号 申请公布号 CN 114078220 A (43)申请公布日 2022.02.22 (73)专利权人 浙江光珀智能科技有限公司 地址 323000 浙江省丽水市莲都区南明山 街道石牛路268号1幢B座3 03-5室 (72)发明人 王坤强　应忠建　张合勇　 (74)专利代理 机构 杭州杭诚专利事务所有限公 司 33109 专利代理师 陈东明 (51)Int.Cl. G06V 20/20(2022.01) G06V 10/44(2022.01) (56)对比文件 KR 20170 092734 A,2017.08.14CN 110580725 A,2019.12.17 CN 113267180 A,2021.08.17 CN 106052586 A,2016.10.26 CN 112017240 A,2020.12.01 CN 111986185 A,2020.1 1.24 CN 113409397 A,2021.09.17 Richard P. Fran k et al. .The influence of tray type and other variables o n the palatal depth of casts made from irreversible hydroco lloid impres sions. 《THE JOURNAL OF PROSTH ETIC DENTISTRY 》 .2002, 武文汉 等.一种基 于轮廓匹配的仓储机 器 人托盘检测方法. 《上海交通大 学学报》 .2019,第 53卷(第2期), 王粲.基于单目视 觉的简单 形状工件定位与 抓取技术研究. 《中国优秀博硕士学位 论文全文 数据库 （硕士） 信息科技 辑》 .2021, 审查员 牛力敏 (54)发明名称 一种基于深度相机的托盘识别方法 (57)摘要 本发明公开了一种基于深度相机的托盘识 别方法。 为了克服现有技术不能对偏转角较大的 托盘， 进行有效识别； 部署难度大， 运算量大的问 题； 包括以下步骤： 相机获取包含托盘的深度图 与灰度图的图像帧数据流； 设置扫描算子， 对灰 度图中的托盘进行轮廓扫描， 并对托盘的轮廓线 进行标记； 归纳常见托盘形状与尺寸， 以及实际 使用中托盘与相机偏转角度， 确认托盘判定依 据； 对已标记过轮廓线的灰度图进行图像扫描， 寻找符合托盘轮廓的标记位置； 对符合托盘轮廓 的标记进行判断； 计算托盘平 面相对相机平面的 偏转角度和托盘中心与相机中心X轴偏差值。 能 对偏转角较大的托盘进行有效识别； 部署难度简 单， 运算量小。 权利要求书3页 说明书12页 附图4页 CN 114078220 B 2022.05.27 CN 114078220 B 1.一种基于深度相机的托盘识别方法， 其特 征在于， 包括以下步骤： S1： 相机获取关于托盘的包 含深度图与灰度图的图像帧数据流； S2： 设置扫描方式以及扫描算子像素大小， 对灰度图中的托盘进行轮廓扫描， 并对托盘 的轮廓线 进行标记； S3： 归纳常见托盘形状、 尺寸以及实际使用中托盘与相机偏转角度， 确定托盘判定依 据； S4： 对已标记过轮廓线的灰度图进行图像扫描， 寻找符合 托盘轮廓的标记位置； S5： 对符合 托盘轮廓的标记进行判断； S6： 计算托盘平面相对相机平面的偏转角度和托盘中心与相机中心X轴偏差值； 所述的步骤S4具体包括以下 过程： S401： 根据垂直轮廓点确认起 点， 计算托盘对应 像素个数； S402： 计算 托盘偏转角及托盘左右两边的深度差值； S403： 使用轮廓跟踪， 统计托盘长对应的实际像素个数； S404： 扫描托盘墩和托盘叉孔的像素个数； S405： 计算托盘右边沿高度对应的像素个数及其 起点坐标； S406： 根据托盘长度像素个数和计算得到的右侧高度像素个数， 扫描右侧边沿； 所述的确认起 点的过程包括： A： 根据经验值满足连续若干点 为标记点的， 确定居中的点 为起点； B： 以起点坐标开始， 判断垂直方向连续30个像素灰度值和是否大于灰度阈值， 若是， 则 进入下一 步， 否则返回上一 步； C： 根据视场角和分辨率计算深度d处的像素间隔， 并根据托盘高度范围计算托盘对应 像素个数； 步骤C中的计算过程 为： 根据相机的视场角 、 分辨率 以及像素点的深度值d计算对应的像素间 隔， 设水平为x， 垂直 为y， 则： 设垂直方向最大像素为 ,垂直方向最小像素为 ,根据托盘高度范围 计算像素个数： 权　利　要　求　书 1/3 页 2 CN 114078220 B 2起点坐标偏移若干个像素后， 采集对应像素点的深度值depth_temp[i+n1][j+n2]， 计 算托盘最低高度对应的像素个数 Xn_lift： 其中， （i,j） 是起 点坐标， （n1,n2） 是平 移距离； 判断连续Xn_lift个像素灰度值和是否大于灰度阈值， 若是， 则进入下一步， 否则返回 上一步； 深度差值的计算过程 为： 起始点向下偏转0.2*Xn_lift， 向右分别 偏转0.2*Xn_lift和0.5*Xn_lift； 得到两个水 平坐标作为托盘偏转的初始判断依据； 分别对这两点做3*3的空间域滤波， 并根据三角函数 计算偏转角度： 其中， dif ference1  为两个坐标的深度差值； difference2  为水平像素间隔x乘以像素个数 得到三角形斜 边长； angle1 为根据左侧托盘墩计算得到初始托盘偏转角； 根据三角函数关系， 托盘右边相对左边的深度差 correct_L： 其中， tray_long为托盘实际长度； 根据托盘三个托盘墩位于同一平面的特点， 按照托盘墩端面相对深度斜率一致性进行 扫描， 来分别标记托盘墩和叉孔， 并统计对应像素个数和中点坐标作为下一步托盘识别依 据； 首先对起点进行3*3空间域滤波； 然后计算基准斜率， 选择若干点分别计算其与基准点的斜率， 并计算斜率的均值Kp作 为判断依据； 设定斜率判断阈值， 纵坐标不变， 横坐标累加， 从左到右依次扫描， 当扫描点与基准点 斜率， 与斜率的均值Kp的差值小于0.5标记为4005， 否则标记为1000； 其中， 4005为托盘墩   标记， 1000为叉孔标记； 最后， 在基于斜率扫描标记完成之后， 重复扫描轨迹， 统计托盘墩与叉孔的横坐标， 并 计算左侧叉孔， 托盘中心， 右侧叉孔对应的横坐标， 作为 托盘识别的判定依据。 2.根据权利要求1所述的一种基于深度相机的托盘识别方法， 其特征在于， 选择左右扫 描方式， 设置扫描算子像素 大小； 对灰度图的亮度进行扫描， 设定亮度阈值， 根据像素亮度变化比例进行灰度图的像素 点扫描和标记。 3.根据权利要求1所述的一种基于深度相机的托盘识别方法， 其特征在于， 所述的托盘 判定依据包括：权　利　要　求　书 2/3 页 3 CN 114078220 B 3