(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211157470.X (22)申请日 2022.09.22 (71)申请人 杭州景吾智能科技有限公司 地址 311231 浙江省杭州市萧 山区经济技 术开发区桥 南区块鸿兴 路477号3号楼 (72)发明人 王金龙　郭震　 (74)专利代理 机构 上海锻创知识产权代理有限 公司 314 48 专利代理师 陈少凌 (51)Int.Cl. G06V 10/22(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) (54)发明名称 基于RGBD相机结合HED神经网络的镜子定位 方法及系统 (57)摘要 本发明提供了一种基于RGBD相机结合HED神 经网络的镜子定位方法及系统， 包括： 利用RGBD 相机对镜面进行数据采集， 利用HED神经网络模 型对原始数据进行边缘检测， 使用边界追踪算法 生成轮廓特征， 对轮廓特征进行霍夫线检测， 求 出所有检测出线段的相交点， 对相交点集进行角 点筛选， 筛选出镜子的角点； 利用镜子的角点生 成镜面周围的掩模图， 并映射至深度图中， 利用 掩模图提取出镜面背后的墙面点云， 并拟合出墙 面平面方程， 利用镜面厚度将墙面方程平移转成 镜面方程， 最后将镜子的角点， 映射至镜面方程， 转换为镜面空间三维点坐标。 本发 明为清洁机器 人的镜面打扫提供了镜面定位信息， 可以让机器 人覆盖更多的打扫区域， 从而提高清洁度。 权利要求书3页 说明书7页 附图3页 CN 115546464 A 2022.12.30 CN 115546464 A 1.一种基于RGBD相机结合H ED神经网络的镜 子定位方法， 其特 征在于， 包括： 步骤S1： 利用RGBD相机对镜面进行数据采集， 利用HED神经网络模型对原始数据进行边 缘检测， 使用边界追踪算法生成轮廓特征， 然后对轮廓特征进 行霍夫线检测， 求出所有检测 出线段的相交点， 对相交点 集进行角点筛 选， 最终筛 选出镜子的4个角点； 步骤S2： 利用镜子的4个角点生成镜面周围的掩模图， 并映射至深度图中， 然后利用掩 模图提取出镜面背后的墙面点云， 并拟合出墙面平面方程， 最后利用镜面厚度将墙面方程 平移转成镜面方程， 最后将镜 子的4个角点， 映射至 镜面方程， 转换为镜面空间三维点 坐标。 2.根据权利要求1所述的基于RGBD相机结合HED神经网络的镜子定位方法， 其特征在 于： 所述HED神经网络模型采用标注好的镜子场景训练集进行训练， 利用训练后的模型对 RGB图进行边缘提取， 在提取的边缘线段中， 提取长度最大的作为镜子边缘， 并筛选出最外 围轮廓。 3.根据权利要求1所述的基于RGBD相机结合HED神经网络的镜子定位方法， 其特征在 于： 所述交点的筛 选包括以下步骤： 步骤S1.1： 计算所有检测出线段的相交点构成的凸集； 步骤S1.2： 计算凸集 点的行心； 步骤S1.3： 根据所有外围凸集 点与质心的夹角大小,对点 集进行顺时针排序， 步骤S1.4： 对排序过后的点集进行3点循环， 求取每个点与前后两个点之间的夹角大 小； 步骤S1.5： 根据镜面边框与成像相机的仿射变换的关系， 将夹角大于60 °的定义为镜子 的角点， 从而排除无关点。 4.根据权利要求3所述的基于RGBD相机结合HED神经网络的镜子定位方法， 其特征在 于： 所述步骤S1.2包括： 点 集1到点集N， 坐标分别为： (x1,y1),(x2,y2),(x3,y3) …(xn,yn) 则： 其中xresult,yresult为最终的行心坐标。 5.根据权利要求1所述的基于RGBD相机结合HED神经网络的镜子定位方法， 其特征在 于： 所述步骤S2包括以下子步骤： 步骤S2.1： 利用镜面的4个交点， 生成镜面区域， 并利用形态学图像处理方法， 生成镜面 周围的墙面掩膜， 所述形态学算法包括： 膨胀： 将结构元s在图像f上滑动， 把结构元锚点位置的图像像素点的灰度值设置为结 构元值为1的区域对应图像区域像素的最大值， 公式如下： dst(x,y)＝max(x1,y1):element(x1,y1)≠0src(x+x1,y+y1) 其中dst为生成的结果图， src为原图， element为结构 元素， x,y,x1,y1为图像中像素点 的坐标； 腐蚀： 将结构元s在图像f上滑动， 把结构元锚点位置的图像像素点的灰度值设置为结 构元值为1的区域对应图像区域像素的最小值， 公式如下： dst(x,y)＝mi n(x1,y1):element(x1,y1)≠0src(x+x1,y+y1)权　利　要　求　书 1/3 页 2 CN 115546464 A 2其中dst为生成的结果图， src为原图， element为结构 元素， x,y,x1,y1为图像中像素点 的坐标； 步骤S2.2： 利用生成的墙面掩膜图提取点云中的墙面信息， 并用Ransac随机采样一致 模型算法对墙面 点云进行拟合， 并生成墙面的平面方程； 步骤S2.3： 利用镜面的厚度将墙面方程移动成镜面方程， 最后将图像中检测出的四个 角点， 根据相机的内参， 映射至空间坐标系中， 将镜面的定位信息传递给机器人进 行镜面打 扫工作。 6.一种基于RGBD相机结合H ED神经网络的镜 子定位系统， 其特 征在于， 包括： 模块M1： 利用RGBD相机对镜面进行数据采集， 利用HED神经网络模型对原始数据进行边 缘检测， 使用边界追踪算法生成轮廓特征， 然后对轮廓特征进 行霍夫线检测， 求出所有检测 出线段的相交点， 对相交点 集进行角点筛 选， 最终筛 选出镜子的4个角点。 模块M2： 利用镜子的4个角点生成镜面周围的掩模图， 并映射至深度图中， 然后利用掩 模图提取出镜面背后的墙面点云， 并拟合出墙面平面方程， 最后利用镜面厚度将墙面方程 平移转成镜面方程， 最后将镜 子的4个角点， 映射至 镜面方程， 转换为镜面空间三维点 坐标。 7.根据权利要求6所述的基于RGBD相机结合HED神经网络的镜子定位系统， 其特征在 于： 所述HED神经网络模型采用标注好的镜子场景训练集进行训练， 利用训练后的模型对 RGB图进行边缘提取， 在提取的边缘线段中， 提取长度最大的作为镜子边缘， 并筛选出最外 围轮廓。 8.根据权利要求6所述的基于RGBD相机结合HED神经网络的镜子定位系统， 其特征在 于： 所述交点的筛 选包括以下模块： 模块M1.1： 计算所有检测出线段的相交点构成的凸集； 模块M1.2： 计算凸集 点的行心； 模块M1.3： 根据所有外围凸集 点与质心的夹角大小,对点 集进行顺时针排序， 模块M1.4： 对排序过后的点集进行3点循环， 求取每个点与前后两个点之间的夹角大 小； 模块M1.5： 根据镜面边框与成像相机的仿射变换的关系， 将夹角大于60 °的定义为镜子 的角点， 从而排除无关点。 9.根据权利要求8所述的基于RGBD相机结合HED神经网络的镜子定位系统， 其特征在 于： 所述模块M1.2包括： 点 集1到点集N， 坐标分别为： (x1,y1),(x2,y2),(x3,y3) …(xn,yn) 则： 其中xresult,yresult为最终的行心坐标。 10.根据权利要求6所述的基于RGBD相机结合HED神经网络的镜子定位系 统， 其特征在 于： 所述模块M2包括以下模块： 模块M2.1： 利用镜面的4个交点， 生成镜面区域， 并利用形态学图像处理方法， 生成镜面 周围的墙面掩膜， 所述形态学算法包括： 膨胀： 将结构元s在图像f上滑动， 把结构元锚点位置的图像像素点的灰度值设置为结权　利　要　求　书 2/3 页 3 CN 115546464 A 3