(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211198171.0 (22)申请日 2022.09.29 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路3 号巷11号 (72)发明人 张云洲　廖明　王浩然　张金鹏　 赵晓宇　曹振中　邓志强　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李在川 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/42(2022.01) (54)发明名称 一种利用语义拓扑描述符进行三维点云的 闭环检测方法 (57)摘要 本发明公开了一种利用语义拓扑描述符进 行三维点云的闭环检测方法， 涉及视觉空间定位 领域； 针对以往基于单一信息进行闭环检测的算 法鲁棒性较差的问题， 在对点云进行语义分割 后， 数据预处理部分丢弃了动态语义对象的点 云， 以减少动态效果和计算负担。 从剩余的点云 中获得静态的特征点， 并根据语义特征和距离分 布计算相应的分数。 通过非最大值抑制(NMS)利 用鸟眼投影来提取节点并构建语义拓扑图。 最后 将语义拓 扑图转换为矩阵描述符， 并使用两步搜 索策略进行闭环 检测， 在保证精度的同时提高匹 配的速度， 有效应对视角变换或动态场景下的 闭 环检测工作， 以服务于无人驾驶和地图构建等应 用场景。 权利要求书3页 说明书8页 附图3页 CN 115546782 A 2022.12.30 CN 115546782 A 1.一种利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在于， 包括以下步 骤： S1:通过语义分割提取三维点云的标签类别， 并根据三维点云的语义标签丢弃指定的 物体三维点云； S2:通过凸壳投影将三维点云进行空间变换， 根据空间变换后三维点云空间分布判断 点的凹凸性， 将凸性 点对应的原 始三维点云空间中的点作为特 征点； S3:根据原始空间中三维点云的几何信息和语义信息计算特征点的分数， 利用鸟瞰图 划分栅格， 根据栅格位置选取特征点作为语义拓扑图的节点， 将每个节点之间的最大空间 距离作为语义拓扑图的边， 构建语义拓扑图； S4:将语义拓扑图转换为矩阵形式的描述符， 通过两阶段搜索策略， 以栅格图径向角度 作为起点， 拉伸为二维矩阵， 以语义距离作为矩阵中对应行列的数值， 构建为矩阵形式的描 述符， 完成闭环检测。 2.如权利要求1所述的利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在 于， 所述S1包括： 通过激光雷达获取原始的三维点云数据， 将原始 的三维点云数据通过三 维点云数据的语义分割网络得到每 个三维点云的语义类别。 3.如权利要求2所述的利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在 于， 所述语义分割采用RangeNet++网络； 在语义分割后的三维点云中， 丢弃具有动态语义 对象的三维点云数据， 保留场景中静态的三维点云数据。 4.如权利要求2所述的利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在 于， 所述语义分割后的三维点云中， 还 包括丢弃动态语义对象对应的静态三维点云数据。 5.如权利要求1所述的利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在 于， 所述凸壳投影， 将三维点云进行体素降采样， 三维点云通过式(1)进行空间变换； 设定 原始三维点云集合Porigin、 投影后的三维点云集合Phull及凸点集合Pconvex， 对应每个集合中 的三维点云表示 为po、 ph及pc， 观测点中心 表示为pv， 投影公式如式(1)所示： 其中： 其中， f为核函数， γ表示系数因子 。 6.如权利要求1所述的利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在 于， 所述判断点的凹凸性， 令K为设定提取的最近邻点数量， 在空间变换后的三维点云中筛 选出最近邻的K个点 提取出满足公式(3)的凸性特 征点， ： 权　利　要　求　书 1/3 页 2 CN 115546782 A 2其中， 每个三维点云包括多个特征点， k表示最近邻点的排序序号， 其中k∈{1,2, …, K}， 表示对应k序号的投影点。 7.如权利要求1所述的利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在 于， 所述计算特征点的分数， 将三维点云的距离分布作为几何信 息设定特征点与观测中心 的距离为dh， 场景中三维点云的距离均值为 方差为σ2， 通过高斯核函数 计算特征 点的几何分数φ1(ph)， 如式(4)所示： 特征点周围近邻点有相同语义类别的三维点云越多， 则该特征点的语义分数φ2(ph)越 高， 反之则语义分数越低， 如式(5)所示： 其中， α 表示系数因子， 将特征点的几何分数φ1(ph)和语义分数φ2(ph)相乘得到特征点 总分数φ(ph)， 如式(6)所示： φ(ph)＝φ1(ph)*φ2(ph)      (6)。 8.如权利要求1所述的利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在 于， 所述构建语义拓扑图， 采用鸟瞰图， 以观测中心为圆心， 半径由近到远等距的划分Nr个 同心圆， 并且以观测前方作为起始角度， 顺时针方向等 间隔的径向划分Ns个区域， 同心圆划 分线和径向区域划分线组合， 将三维点云空间以从上向下的俯视角度将场景三维点云划分 为多个栅格， 将同一栅格中不同高度的特征点， 通过局部极大值抑制 选取最大分数 的特征 点作为所在栅格的代表点， 所有栅格中的代表点作为语义拓扑图的节点； 以栅格作为距离 的基本单位， 将任意两个栅格距离与特征点总分数相乘得到语义拓扑图的节点之 间带有几 何和语义权 重的语义距离， 取节点之间最大的语义距离作为图的边， 构建语义拓扑图； 设定任意栅格的特征点为Ni,m， 其中i是栅格圈数的序号， i∈{ 1,2,…,Nr}， Nr为栅格圈 数的最大序号； j表示栅格角度划分的第j序号， j∈{1,2, …,Ns}， Ns为栅格角度划分的最大 序号； m表示栅格角度划分的第 m序号， 且m≠j； 栅格特征点的语义类别为o， 设定max为使得 语义距离最大的函数， 语义几何距离dg和语义种类距离ds计算如式(7)、 式(8)所示： 其中， o表示 栅格特征点的语义类别。 9.如权利要求1所述的利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在 于， 所述两步搜索算法， 包括第一步搜索算法及第二步搜索算法； 以观测中心 为圆心的栅格 地图由多个同心圆组成， 径向间隔相同的角度进行划分， 拉伸为首尾相接的二维矩阵。 10.如权利要求1所述的利用语义拓扑描述符进行三维点云的闭环检测方法， 其特征在 于， 所述第一步搜索算法， 将矩阵转换为向量k， 采用k ‑d树的结构存储和搜索当前场景的候 选帧；权　利　要　求　书 2/3 页 3 CN 115546782 A 3