(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210034516.2 (22)申请日 2022.01.13 (65)同一申请的已公布的文献号 申请公布号 CN 114049399 A (43)申请公布日 2022.02.15 (73)专利权人 上海景吾智能科技有限公司 地址 201306 上海市浦东 新区自由贸易试 验区临港新片区云端路1446弄2号3楼 12室 (72)发明人 夏子涛　杨俊　胡景晨　郭震　 (74)专利代理 机构 上海段和段律师事务所 31334 代理人 李佳俊　郭国中 (51)Int.Cl. G06T 7/73(2017.01) G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)(56)对比文件 CN 113888632 A,202 2.01.04 CN 112767418 A,2021.0 5.07 CN 112045676 A,2020.12.08 CN 111311679 A,2020.0 6.19 CN 108830272 A,2018.1 1.16 CN 111553252 A,2020.08.18 CN 111339919 A,2020.0 6.26 KR 20200143044 A,2020.12.23 US 2020344459 A1,2020.10.2 9 戴君洁.基 于机器视觉的目标识别和表面 缺 陷检测研究. 《中国优秀硕士学位 论文全文数据 （电子期刊） 》 .2021,第2021年卷(第08 期), XiaoLong zheng et al.A New VLC Localization System w ith the As sistance of RGB-D Camera. 《2018 Ubiquitous Positioning, Indoor Navig ation and Location-Based Services (UPI NLBS)》 .2018, 审查员 宋海荣 (54)发明名称 一种结合RGBD图像的镜面定位方法 (57)摘要 本发明提供了一种结合RGBD图像的镜面定 位方法， 涉及视觉识别与定位技术领域， 该方法 包括： 步骤S1： 由机器人对深度图像上镜子进行 初步定位； 步骤S2： 定位完成后， 对彩色图像上镜 子边框进行提取； 步骤S3： 提取完成之后， 进行彩 色图像到深度图像的坐标变换， 完成最终定位。 本发明能够准确的识别和定位镜子， 有对室内机 器人的工作有重要的支撑作用； 广泛的适应于各 种场景下的镜子定位， 有很好的通用性以及抗干 扰性， 对于复杂的背景墙都能适应 。 权利要求书2页 说明书5页 附图3页 CN 114049399 B 2022.04.12 CN 114049399 B 1.一种结合RGBD图像的镜面定位方法， 其特 征在于， 包括： 步骤S1： 由机器人对深度图像上镜 子进行初步定位； 步骤S2： 定位完成后， 对彩色图像上镜 子边框进行提取； 步骤S3： 提取完成之后， 进行彩色图像到深度图像的坐标变换， 完成最终定位； 所述步骤S1包括： 步骤S1.1： 基于集 合树对深度图像进行分割； 步骤S1.2： 基于导数估计对墙面区域进行分割； 步骤S1.3： 对镜面区域进行分割， 并计算得到 镜面区域包围框二 值图掩模； 所述步骤S1.1包括： 步骤S1.1.1： 对深度图像DepthImg像素进行聚类， 设定距离阈值T， 遍历深度图像中的 每个像素， 对像素值V(i,j)查看该像素的多个领域， 若领域的像素值V(i+n,j+m)， | n|+|m|< 2和该像素值的差的绝对值小于距离阈值， 则领域像素和该像素分为 一类； 步骤S1.1.2： 深度图像聚类后， 筛选出包含像素最多的一类,根据其中的像素坐标， 生 成二值图像Mask1； 所述步骤S1.2包括： 步骤S1.2.1： 对深度图像分别求取x和y方向的sobel图像， 记为S_x,S_y； 使用Mask1分 别对S_x,S_y图像做 乘法： S_x （i,j） =S_x （i,j） * Mask1(i,j)； S_y （i,j） =S_y （i,j） * Mask1(i,j)； 步骤S1.2.2： 分别求取S_x,S_y的直方图， 再分别求取两个直方图的峰值， 记为P eak_x， Peak_y； 设定范围距离阈值为R， 分别在S_x,S_y根据灰度区间 （Peak_x ‑R， Peak_x +R） ， （Peak_y ‑ R， Peak_y+R） 进行二 值分割， 分别得到Q_x,Q_y； 步骤S1.2.3： 连乘Q_x*Q_y* Mask1=Mask2， Mask2即为包 含墙面深度像素的二 值图掩模； 步骤S1.2.4： 使用Mask2， 在深度图像上扣取深度信息， 记为DepthWallImg， DepthImg* Mask2=DepthWal lImg； 步骤S1.2.5： 根据深度相机内参， 将D epthWallImg图像换算为3D点云， 并使用ransac算 法拟合出平面方程； 所述步骤S1.3包括： 步骤S1.3.1： 基于平面方程， 生成该平面的深度图像Depth2， 设定距离阈值Dist， 使 DepthImg减去Depth2， 对应像素超出距离 阈值Dist的， 视为墙后的镜面 区域Mask_mirror， 深度图像上镜面区域Mask_mir ror的二值图掩模为： Mask_mir ror=DepthImg ‑Depth2； 其中， DepthImg ‑Depth2>Dist； 步骤S1.3.2： 对镜面掩模Mask_mirror进行闭运算， 得到Mask_c1， 再进行膨胀运算， 得 到Mask_c1_d2； 使用Mask_c1_d2减去Mask_c1， 得到 镜面区域包围框二 值图掩模： Mask_sur round= Mask_c1_d2 ‑Mask_c1； 所述步骤S2包括： 步骤S2.1： 对彩色图像上的特征线条进行提取， 即使用opencv相关算法提取彩色图像权　利　要　求　书 1/2 页 2 CN 114049399 B 2上线条特征； 步骤S2.2： 计算镜面包围框 到彩色图像上的映射和边界矩形； 步骤S2.3： 计算 边界线条的聚合及边界线； 步骤S2.4： 拟合 直线， 计算各个边框直线的交点； 所述步骤S2.2包括： 步骤S2.2.1： 根据深度图像和彩色图像相机的内参， 将深度图像上的镜面区域包围框 Mask_sur round换算到彩色图像上， 记为Mask_co lor； 步骤S2.2.2： 对Mask_co lor进行闭运 算， 记为Mask_co lor_c1； 步骤S2.2.3： 分别构建结构元素S1(40*3)， S2(3*40)， 对Mask_color_c1二值图进行开 运算， 分别得到 Mask_color_o1， Mask_co lor_o2； 步骤S2.2.4： 分别对Mask_color_o1， Mask_color_o2进行连通域分割， 最终得到4或3个 矩形， 分别对应镜子的上下左右 4或3个位置； 当镜子较高， 镜子的上边界超出了相机的视野 时， 只能检测出镜 子的3个边 缘位置； 所述步骤S2.3包括： 步骤S2.3.1： 设定角度差值Ang,设定距离阈值 为Dist； 步骤S2.3.2： 分别处 理步骤S2.2.4中的4或3个矩形框， 计算矩形对应的长轴； 步骤S2.3.3： 遍历步骤S2.1中提取的特征线条， 如果线条和某一个长轴的夹角小于 Ang， 并且线条的中点与中点在主轴上的投影点的距离小于Dist,则该线条属于这个长轴； 所述步骤S2.4包括： 步骤S2.4.1： 每一个长轴得到了相应的线条， 对一个长轴的所有线条进行点的抽样， 其 中线条的起 点和终点默认抽样为 点， 设定抽样步长step， 线条每间隔一段， 增一个抽样点； 步骤S2.4.2： 对每一个长轴的抽样点集， 使用最小二乘法进行拟合， 计算出对应直线方 程； 步骤S2.4.3： 对4或3个直线方程两两计算直线的角点， 得到镜子在彩色图像上的4或2 个角点。 2.根据权利要求1所述的结合RGBD图像的镜面定位方法， 其特征在于， 所述步骤S3包 括： 根据深度图像和彩色图像相机的内参， 将彩色图像上的多个角点换算到深度图像上， 得 到最终的镜 子多个角点的坐标。权　利　要　求　书 2/2 页 3 CN 114049399 B 3