(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111652247.8 (22)申请日 2021.12.3 0 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 夏焕明　成慧　曾祥伟　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 代理人 梁嘉琦 (51)Int.Cl. G06V 10/762(2022.01) G06K 9/62(2022.01) G06V 20/17(2022.01) (54)发明名称 一种基于双目相机的动态 环境感知方法 (57)摘要 本发明公开了一种基于双目相机的动态环 境感知方法， 包括获取由双目相机拍摄得到的多 帧深度图像， 对各帧深度图像进行处理， 获得多 帧稀疏点云， 对各帧稀疏点云分别进行聚类， 获 得多个聚类簇， 对不同帧的稀 疏点云中表示相同 障碍物的多个聚类簇进行关联， 以及识别关联后 的聚类簇对应的障碍物属于动态障碍物或者静 态障碍物 等步骤。 本发明能在障碍物间距离较近 等复杂环 境下快速地、 较好地实现对环境中各种 形状的障碍物进行检测、 动静态属性划分和跟踪 的动态环 境感知， 能够在障碍物出现遮挡并且相 机自身运动的复杂情况下对障碍物的动静属性 进行较鲁棒的判断。 应用本发明的无人机具有负 载小、 功耗低、 轻便易携等优点。 本发明广泛应用 于图像处 理技术领域。 权利要求书4页 说明书15页 附图4页 CN 114387462 A 2022.04.22 CN 114387462 A 1.一种基于双 目相机的动态环境感知方法， 其特征在于， 所述基于双目相机的动态环 境感知方法包括： 获取由双目相机拍摄得到的多帧深度图像； 对各帧所述深度图像进行处理， 获得多帧稀疏点云； 其中， 对一帧所述深度图像的处理 结果为得到相应的一帧稀疏点云； 对各帧所述稀疏点云分别进行聚类， 获得多个聚类簇； 其中， 对一帧所述稀疏点云的聚 类结果为得到相应的若干个个聚类簇， 一帧所述稀疏点云中的不同聚类簇 分别表示不同的 障碍物； 对不同帧的所述稀疏点云中表示相同 障碍物的多个所述聚类簇进行关联； 识别关联后的所述聚类簇对应的障碍物属于动态障碍物或者静态障碍物。 2.根据权利要求1所述的基于双目相机的动态环境感知方法， 其特征在于， 所述基于双 目相机的动态 环境感知方法还 包括： 当所述聚类簇对应的障碍物属于静态障碍物， 根据 所述聚类簇更新占用图上的障碍物 信息； 当所述聚类簇对应的障碍物属于动态障碍物， 将所述聚类簇建模成椭球， 使用卡尔曼 滤波器对建模后的所述聚类簇进行跟踪。 3.根据权利要求2所述的基于双目相机的动态环境感知方法， 其特征在于， 所述基于双 目相机的动态 环境感知方法还 包括： 当在连续的超过阈值长度的时间段内未跟踪到建模后的所述聚类簇， 结束对所述聚类 簇的跟踪， 删除所述聚类簇对应的数据。 4.根据权利要求1 ‑3任一项所述的基于双目相机的动态环境感知方法， 其特征在于， 所 述对各帧所述深度图像进行处 理， 获得多帧稀疏点云， 包括： 获取所述双目相机的外参矩阵T和内参矩阵K； 获取所述深度图像的像素坐标Puv； 通过公式Pw＝T‑1K‑1Puv确定原始点云； 其中， Pw为所述原 始点云的世界坐标； 对所述原 始点云进行裁 剪， 获得稠密点云； 使用体素 过滤法对所述稠密点云进行 过滤， 获得所述稀疏点云。 5.根据权利要求4所述的基于双目相机的动态环境感知方法， 其特征在于， 所述对各帧 所述稀疏点云 分别进行聚类， 获得多个聚类簇， 包括： A1.获取样本点集D＝{x1,x2,……,xm}， 其中xm表示所述稀疏点云中的第m个点， 设置邻 域距离阈值ε和连通阈值δ， 初始化核心对象集合 初始化聚类簇数k＝0， 初始化未访 问样本集 合F＝D， 初始化簇划分 A2.对于j＝1,2, ……,m， 按下面 步骤A2a‑A2b找出所有的核心对象： A2a.找到样本xj的ε邻域内的子样本点 集Nε(xj)； 其中， xj为样本点 集D中的样本点； A2b.如果所述子样本点集Nε(xj)的样本个数满足|Nε(xj)|≥MinPts， 则计算点Q＝Nε (xj)∪xj的连通分支数n； 如果n<δ， 通过公式Ω＝Ω∪{xj}将样本xj加入核心对象集合Ω 中； A3.如果核心对象集 合 则结束对步骤A1 ‑A6的执行， 否则执 行步骤A4；权　利　要　求　书 1/4 页 2 CN 114387462 A 2A4.在核心对象集合Ω中， 随机选一个核心对象o， 初始化当前簇核心对象列表Ωcur＝ {o}， 初始化类别序号k＝k+1， 初始化当前簇样本集合Ck＝{o}， 更新未访问样本集合F ‑F‑ {o}； A5.如果当前簇核心对象队列 则当前聚类簇Ck生成完毕， 更新簇划分C＝{C1, C2,……,Ck}， 更新核心对象集合Ω＝Ω ‑Ck， 返回执行步骤A3， 否则更新核心对象集合Ω＝ Ω‑Ck； A6.在当前簇核心对象队列Ωcur中取出一个核心对象o ‘ ’， 通过邻域距离阈值ε找出ε ‑ 邻域子样本点集Nε(o‘ ’)， 令Δ＝Nε(o‘ ’)∩F， 更新当前簇样本集合Ck＝Ck∪Δ， 更新未访问 样本集合F＝F‑Δ， 更新Ωcur＝Ωcur∪(Δ∩Ω)‑o‘ ’， 返回执行步骤A5 。 6.根据权利要求4所述的基于双目相机的动态环境感知方法， 其特征在于， 所述对不同 帧的所述稀疏点云中表示相同 障碍物的多个所述聚类簇进行关联， 包括： B1.获取对m个聚类簇 其中t表示Ct中的各个聚类簇由采集时 间为t的所述稀疏点云聚类得到， 其中采集时间为t的所述稀疏点云由拍摄时间为t的所述 深度图像处理得到， 通过卡尔曼滤波器预测Ct中所有障碍物在时间t下的位置 设置距离阈值 ε， 初始化关联集 合F＝Kt； B2 .计算Ct中每个聚类簇 的 质心 得到所有聚类簇当前帧下的 质心 B3.初始化待关联集 合Ω＝Dt； B4.对于每 个 按以下步骤B4a ‑B4c执行： B4a.找到 在F中的最近邻kj； B4b.找到kj在Ω中的最近邻dj； B4c.如果 即 与kj互为最近邻， 通过公式 把 关联到障碍物 j； 通过公式 把 移出待关联集 合Ω； 通过公式F＝F ‑{kj}把kj移出关联集 合F； B5.如果 或者 结束对步骤B1 ‑B6的执行， 反之， 对于每个 执行以下步 骤B5a‑B5b： B5a.找到 在F中的最近邻kj， 计算 与kj之间的距离 δ； B5b.如果δ<ε， 通过公式 把 关联到障碍物j， 通过公式 把 移出待关联集 合Ω， 通过公式F＝F ‑{kj}把kj移出关联集 合F； B6.如果 结束对步骤B1 ‑B6的执行， 反之， 对于每个 认为是新出现 的障碍 物， 建立障碍物跟踪历史， 所述障碍物跟踪历史表示为 其中 Δt表示时间 间隔， n表示障碍物的标号。 7.根据权利要求6所述的基于双目相机的动态环境感知方法， 其特征在于， 所述识别各 所述聚类簇对应的障碍物属于动态障碍物或者静态障碍物， 包括： C1.获取拍摄时间为t ‑Δt的深度图像Dt‑Δt和拍摄时间为t的深度图像Dt， 获取采集时间权　利　要　求　书 2/4 页 3 CN 114387462 A 3