(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210295510.0 (22)申请日 2022.03.23 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 高跃　徐阳　别林　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06K 9/62(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/40(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 深度图增强方法及装置 (57)摘要 本申请公开了一种深度图增强方法及 装置， 其中， 方法包括： 从原始视觉数据中获取初始深 度图， 对初始深度图进行交替卷积与反卷积模块 的多尺度特征提取， 并得到特征视图， 并进行尺 度压缩和卷积， 依次得到两阶段的特征向量； 对 初始深度图进行空间变换和特征提取， 得到深度 图特征， 并基于两阶段的特征向量对深度图特征 进行强化， 并恢复深度结构， 生成特征图， 进而 通 过多层感知机映射得到最终深度图。 由此， 解决 了相关技术中由于目标物体需满足某种特定的 几何对称性， 再进行特征提取和预测， 导致在深 度采集的过程中， 难以使用通用的增强模型进行 几何特征的补全和 稠密化， 使得采集中存在信息 残缺以及精度低下的情况的技 术问题。 权利要求书2页 说明书11页 附图5页 CN 114820344 A 2022.07.29 CN 114820344 A 1.一种深度图增强方法， 其特 征在于， 包括以下步骤： 从原始视觉数据中获取初始深度图； 对所述初始深度图进行交替卷积与反卷积模块的多尺度 特征提取， 并由所述反卷积模 块进行逐步恢复， 得到以深度图三维坐标作为 三通道的特 征视图； 对所述特 征视图进行尺度压缩和卷积， 依次得到 两阶段的特 征向量； 对所述初始深度图进行空间变换和特征提取， 得到深度图特征， 并基于所述两阶段的 特征向量对所述深度图特 征进行强化， 并恢复深度结构， 生成第一 三通道特征图； 以及 由所述特征视图多层感知机映射得到第 二三通道特征图， 并融合所述第 一三通道特征 图和所述第二 三通道特征图， 多层感知机映射得到最终深度图。 2.根据权利要求1所述的方法， 其特征在于， 所述从原始视觉数据中获取初始深度图， 包括： 由所述原 始视觉数据得到满足预设条件的低质量深度图； 对所述低质量深度图和红外和深度图原始数据进行预处理和特征提取， 生成所述初始 深度图。 3.根据权利要求1所述的方法， 其特征在于， 所述由所述原始视觉数据得到满足预设条 件的低质量深度图， 包括： 基于预设的采集视角阈值对所述原 始视觉数据进行采集， 得到所述低质量深度图。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述初始深度图进行空间变换和特 征提取， 得到深度图特征， 并基于所述两阶段的特征向量对所述深度图特征进 行强化， 并恢 复深度结构， 生成第一 三通道特征图， 包括： 对所述初始深度图进行空间三维变换， 得到三维变换后的深度； 基于所述三维变换后的深度提取第 一特征， 并将所述第 一特征与所述特征视图的视图 特征向量融合， 得到第一阶段融合特 征； 基于所述第 一阶段融合特征提取第 二特征， 并将所述第 二特征与所述视图特征向量融 合， 得到第二阶段融合特 征； 由所述第二阶段融合特 征多层感知机映射得到所述第一 三通道特征图。 5.一种深度图增强装置， 其特 征在于， 包括： 获取模块， 用于从原 始视觉数据中获取初始深度图； 特征提取模块， 用于对所述初始深度图进行交替卷积与反卷积模块的多尺度特征提 取， 并由所述反卷积模块进行 逐步恢复， 得到以深度图三维坐标作为 三通道的特 征视图； 计算模块， 用于对所述特 征视图进行尺度压缩和卷积， 依次得到 两阶段的特 征向量； 强化模块， 用于对所述初始深度图进行空间变换和特征提取， 得到深度图特征， 并基于 所述两阶段的特征向量对所述深度图特征进行强化， 并恢复深度结构， 生成第一三通道特 征图； 以及 融合模块， 用于由所述特征视 图多层感知机映射得到第二三通道特征图， 并融合所述 第一三通道特征图和所述第二 三通道特征图， 多层感知机映射得到最终深度图。 6.根据权利要求5所述的装置， 其特 征在于， 所述获取模块包括： 获取单元， 用于由所述原 始视觉数据得到满足预设条件的低质量深度图； 预处理单元， 用于对所述低质量深度图和红外和深度图原始数据进行预处理和特征提权　利　要　求　书 1/2 页 2 CN 114820344 A 2取， 生成所述初始深度图。 7.根据权利要求6所述的装置， 其特征在于， 所述获取单元进一步用于， 基于预设的采 集视角阈值对所述原 始视觉数据进行采集， 得到所述低质量深度图。 8.根据权利要求5所述的装置， 其特 征在于， 所述强化模块包括： 三维变换 单元， 用于对所述初始深度图进行空间三维变换， 得到三维变换后的深度； 第一融合单元， 用于基于所述三维变换后的深度提取第一特征， 并将所述第一特征与 所述特征视图的视图特 征向量融合， 得到第一阶段融合特 征； 第二融合单元， 用于基于所述第一阶段融合特征提取第二特征， 并将所述第二特征与 所述视图特 征向量融合， 得到第二阶段融合特 征； 映射单元， 用于由所述第二阶段融合特征多层感知机映射得到所述第一三通道特征 图。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑4任一项所 述的深度图增强方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑4任一项所述的深度图增强方法。权　利　要　求　书 2/2 页 3 CN 114820344 A 3