(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210275401.2 (22)申请日 2022.03.21 (71)申请人 武汉科技大 学 地址 430081 湖北省武汉市青山区和平大 道947号 (72)发明人 蒋林　李云飞　刘奇　余正强　 罗文龙　蒋代国　陈澳　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 张辰 (51)Int.Cl. G06V 20/00(2022.01) G06V 20/70(2022.01) G06V 10/80(2022.01) G06T 7/70(2017.01) (54)发明名称 激光与视觉融合的室内墙角识别与分类方 法及设备 (57)摘要 本发明提供了一种激光与视觉融合的室内 墙角识别与分类方法及设备， 包括步骤1至步骤 5。 本发明通过使用KinectV2深度相机以及电子 罗盘对墙角进行方向性区分， 同时对激光雷达击 中点进行直线拟合， 提取环境中的凸凹墙角信 息， 最终得到丰富的墙角类别信息， 能够帮助机 器人在相似环境和变化环境下能够快速定位成 功， 增强了机器人全局重定位的鲁棒性， 提高了 特征图的分辨 率， 又不会增 加较大计算 量。 权利要求书5页 说明书16页 附图6页 CN 115019153 A 2022.09.06 CN 115019153 A 1.一种激光与视觉 融合的室内墙角识别与分类方法， 其特征在于， 包括： 步骤1： 室内墙 角按照凸凹类别进行区分分为凸墙角和凹墙角， 墙角凸凹类别通过激光雷达发射的红色激 光束击中墙面后得到的距离信息进行判断， 首先对激光雷达击中点进行直线拟合， 其次判 断两条激光拟合直线是否相邻， 然后判断两条相邻拟合直线之间的夹角是否为墙角， 最后 在激光雷达识别到墙角后进行墙角凸凹性区分， 若两直线 上距离机器人最近的位置是两直 线相交的墙角处， 且越远离墙角位置的激光点距离机器人越来越远， 则为凸墙角， 若两直线 上距离机器人最远的位置是两直线相交的墙角处， 且越远离墙角位置的激光点距离机器人 越来越近， 则为凹墙角； 步骤2： 室内墙角有四个朝向， 每一类墙角都有着唯一的标签， 通过 深度相机KinectV2和电子罗盘进行墙角方向性判断， 对于在不重叠的航向角范围内通过深 度相机识别到的墙角是对应的墙角类别， 相邻的墙角都会有着重叠的航向角部分， 所以应 该首先判断墙角位于航向角的左侧还是右侧， 若该侧只有一种墙角类型， 则该墙角对应墙 角类型， 如果该侧有两类墙角， 则计算航向角与墙角的该侧墙面之间的夹角 θ， 当θ＜35 °时， 墙角类型为航向角的该侧墙角类型， 当θ ＞55 °时， 墙角类型为航向角的另一侧墙角类型； 步 骤3： 室内墙角按照凸凹性分为凸墙角和凹墙角2种墙角凸凹性类别， 或按照方向性进行区 分得到四种墙角方向性类别， 室内墙角按照凸凹性和方向性分为八种类别标签； 步骤4： 激 光雷达和深度相机获取到的环境障碍物坐标都是相对于自身坐标系下的坐标， 激光雷达坐 标系与深度相机坐标系之 间也存在着空间坐标变换关系， 通过确定相机坐标系和激光雷达 坐标系之间的变换关系， 才能用激光雷达深度数据替代相 机深度数据， 主控机获取到的八 类墙角信息和物体语义信息都是在激光雷达坐标系下， 将激光雷达坐标系转化到世界坐标 系下； 步骤5： 主控机将物体语义地图和二维栅格地图进行融合， 得到带有物体类别信息的 语义地图， 语义地图中背 景色为黑色， 其他彩色代表相应的物体语义信息， 将 墙角类别信息 与物体语义栅格地图进行融合， 得到最终语义地图， 合成图中物体轮廓与栅格障碍物对应 区域重合。 2.根据权利要求1所述的激光与视觉融合的室内墙角识别与分类方法， 其特征在于， 步 骤1中的室内墙角凸凹性判断， 激光雷达识别到墙角之后， 对墙角按照凸凹类别进行区分， 一种是凸墙角， 另一种是 凹墙角， 若两直线相交的墙角处距离机器人最近， 越远离墙角位置 的激光点距离机器人越来越远， 则为凸墙角； 若两直线相交的墙角处距离机器人最远， 越远 离墙角位置的激光 点距离机器人越来越近， 则为凹墙角； 步骤1中采用IEPF算法进行直线拟合， 步骤如下： 1)首先获取一帧激光数据点Z(P1， P2，…， Pn)， 并按照两个端点坐标P1和Pn求取直线l， 计 算中间激光 点到直线l的最大距离 hi； 2)如果最大距离hi大于设定好的阈值H， 则在该点位置把激光数据点拆分为Z1(P1， P2，…， Pi)和Z2(Pi， Pi+1，…， Pn)两部分； 3)重复1)和2)两个步骤， 将激光雷达数据分成若干段， 最终所有点集与对应直线距离 均小于阈值H； 通过最小二乘法对得到每一段激光数据进行直线拟合， 获取墙面激光数据拟合之后的 直线。 3.根据权利要求2所述的激光与视觉融合的室内墙角识别与分类方法， 其特征在于， 步 骤2的室内墙角方向性判断， 机器人搭载的KinectV2相机， 其深度图最大视角范围是70 °， 电权　利　要　求　书 1/5 页 2 CN 115019153 A 2子罗盘可以获取航向角， 因此机器人搭载电子罗盘后能够得到机器人朝向， 根据识别到墙 角对应的机器人朝向来进行墙角方向性判断， 首次使用电子罗盘时进行校正， 使得电子罗 盘航向角起始角度垂 直于墙面， 正北方向的航向角为0 °， 航向角按照顺时针方向增加， 范围 在0°到360°之间， 正北方向的右边墙角设定方向属性为第一类墙角， 按照逆时针顺序依次 定位墙角第二类墙角、 第三类墙角和第四类墙角， 当机器人搭载的电子罗盘获取 的航向角 范围在0°到35°之间， 第二类墙角在航向角左侧， 墙角第一类墙角在航向角的左侧或者右 侧， 出现在航向角右侧的墙角为第一类墙角， 如果该侧有两类墙角， 则计算航向角与墙角的 该侧墙面之间夹角， 当机器人搭载的电子罗盘获取的航向角范围在0 °到35°之间， 第一类墙 角和第二类墙角出现在航向角 左侧， 此时计算航向角与墙角 左侧墙面之间的夹角， 判断航 向角与墙角的该侧墙面之间的夹角 θ， 当θ＜35 °时， 墙角类型与航向角的该侧墙角类型相 同； 而当θ ＞5 5°时， 墙角类型与航向角的另一侧墙角类型一 致。 4.根据权利要求3所述的激光与视觉融合的室内墙角识别与分类方法， 其特征在于， 步 骤3的室内墙角分类方法， 激光雷达识别到墙角之后， 对墙角按照凸凹类别进行区分， 一种 是凸墙角， 另一种是凹墙角， 则室内墙角按照方向性和凸凹性共分为八类， 分别为： 第一类 凸墙角、 第一类凹墙角、 第二类凸墙角、 第二类凹墙角、 第三类凸墙角、 第三类凹墙角、 第四 类凸墙角、 第四类凹墙角。 5.根据权利要求4所述的激光与视觉融合的室内墙角识别与分类方法， 其特征在于， 步 骤4首先确定相机坐标系和 激光雷达坐标系之间的关系， 如式(1)所示； 然后用激光雷达深 度数据替代相机深度数据并将激光雷达坐标系转化到机器人坐标系下， 本方法构建的实验 平台中， 激光雷达处于机器人正前方， 激光雷达坐标系和机器人坐标系之 间只存在 x轴方向 上的平移， 且平移距离为0.16m， 因此激光雷达坐标系到机器人坐标系之间的转换矩阵Tr,l 如式(2)所示； 最后将机器人坐标系转换到世界坐标系， 机器人坐标系 与世界坐标系之间的 转换矩阵Tw,r如式(3)所示， 式中： (xl,yl,zl)为激光雷达坐标系下的坐标， (xk,yk,zk)为相机坐标系下的坐标， R和T 分别表示激光雷达坐标系与深度相机坐标系之间的3 *3旋转矩阵和3 *1平移矩阵 式中(xt,yt, θt)是机器人在世界坐标系下的实时位姿， 由Gmapping算法得到， 相机的像 素点从像素坐标系转换到相机坐标系下的公式如下：权　利　要　求　书 2/5 页 3 CN 115019153 A 3