(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210149240.2 (22)申请日 2022.02.18 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 李曙光　郑珂　李振旭　赵洋　 程洪　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 邓黎 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 5/20(2006.01) G06T 9/00(2006.01) G01S 13/89(2006.01) (54)发明名称 一种基于视觉和毫米波雷达的融合深度估 计方法 (57)摘要 本发明公开了一种基于视觉和毫米波雷达 的融合深度估计方法， 属于计算机视觉技术领 域。 本发明包括两阶段的网络， 第一阶段以图像 和由毫米波雷达数据得到的稀 疏深度图为输入， 预测稠密的粗糙深度图， 考虑到毫米波雷达数据 的特性， 采用稀 疏前置映射模块提取其特征并完 成数据之间的映射； 第二阶段以粗糙深度图为输 入， 采用更为精简 的网络结构， 同时在该阶段中 融合前一阶段特征， 旨在预测细 节更加完善的深 度图； 同时， 本发明还以nuSc enes数据集为基础， 构建了一个新的深度数据集。 本发 明在单目图像 中引入毫米波雷达的测量值作为先验知识， 旨在 利用毫米波雷达补充视觉信息， 尤其是在夜晚、 雨天等视觉特征退化严重的场景， 从而提升深度 估计结果的准确性。 权利要求书2页 说明书6页 附图4页 CN 114627351 A 2022.06.14 CN 114627351 A 1.一种基于 视觉和毫米波雷达的融合深度估计方法， 其特 征在于， 包括以下步骤： S1.将待估计图像和毫米波雷达数据输入稀疏 ‑粗糙编码网络， 分别提取特征后融合， 得到第一融合特 征图； S2.将稀疏 ‑粗糙编码网络得到的第一融合特征图输入稀疏 ‑粗糙解码网络， 解码得到 粗糙深度图； S3.通过特征融合模块将稀疏 ‑粗糙解码网络中的解码特征融合到粗糙 ‑精细编码网 络； 将粗糙深度图输入粗 糙‑精细编码网络， 得到第二融合特 征图； 所述特征融合模块， 用于计算注意力向量， 引导 粗糙‑精细编码网络特 征的学习； 所述解码特征， 由稀疏 ‑粗糙解码网络中的残差模块产生； S4.将粗糙 ‑精细编码网络得到的第二融合特征图输入粗糙 ‑精细解码网络， 解码得到 最后的预测深度图。 2.如权利要求1所述的一种基于视觉和毫米波雷达的融合深度估计方法， 其特征在于， 所述稀疏 ‑粗糙编码网络采用双编码 器结构， 包括图像编 码器和深度编码 器； 其中所述图像 编码器为预先训练过并去除了全 连接层的ResNet ‑34网络； 所述深度编码器， 包括稀疏前置 映射模块和残差模块， 通过稀疏前置映射模块提取毫米波雷达数据的初步特征， 再采用残 差模块进一 步提取特征。 3.如权利要求1或2所述的一种基于视觉和毫米波雷达的融合深度估计方法， 其特征在 于， 所述稀疏 ‑精细编码网络， 采用单编码器结构。 4.如权利要求1或2所述的一种基于视觉和毫米波雷达的融合深度估计方法， 其特征在 于， 在训练过程中， 采用基于二进制掩膜的滤波 ‑插值方式构建标签数据进行监督； 所述基 于二进制掩膜的滤波 ‑插值方式为： a、 聚集多帧激光雷达数据； b、 基于二进制掩膜的滤波算法滤除异常点， 得到滤波后的激光雷达数据L'； c、 以滤波后的激光雷达数据L'和稀疏掩膜mL为输入进行基于二进制掩膜的插值， 得到 稠密的深度标签数据； d、 随机采样， 得到最终的深度标签数据。 5.如权利要求4所述的一种基于视觉和毫米波雷达的融合深度估计方法， 其特征在于， 基于二进制掩膜的滤波算法滤除异 常点的方法为： 首先使用稀疏掩膜mL屏蔽激光雷达数据 L中的非观测点； 然后在大小为n ×m的区域S内求得观测点深度的均值； 最后通过判断观测 点深度与 均值的差是否大于阈值 来决定其是否为异常值； 基于二进制掩膜的滤波算法g的计算公式如下： 其中， M＝n ×m， n的取值范围为[30， 50]， m的取值范围为[40， 60]， ave(p,q)表示当前位 置(p,q)处的均值， L(p,q)、 L(x,y)分别表示当前位置(p,q)、 (x,y)处的激光雷达数据值， ε 为设置的阈值， S为大小为n ×m的滤波器窗口， (x,y)表示滤波器窗口内激光雷达数据的位权　利　要　求　书 1/2 页 2 CN 114627351 A 2置， mL(x,y)为位置(x,y)处的二进制掩膜值。 6.如权利要求4或5所述的一种基于视觉和毫米波雷达的融合深度估计方法， 其特征在 于， 以滤波后的激光雷达数据L'和稀疏掩膜mL为输入进行基于二进制掩膜的插值的方法 为： 首先使用稀疏掩码1 ‑mL屏蔽滤波后的激光雷达数据L'中的观测点， 仅对非观测点进行 插值； 设定x和y方向上的步长分别为Tx和Ty， 以设定的步长遍历屏蔽后的非观测点， 以遍历 到的非观测点为中心在大小为(a,b)的窗口内寻找 最近邻， 其中， a的取值范围为[15， 25]， b 的取值范围为[2， 5]； 二进制掩膜的插值 算法f公式表示 为： 其中， Nearest(p,q)表示在以(p,q)为中心在大小为(a,b)的窗口内搜寻最近邻观测 点， L'(p,q)表示当前位置(p,q)处滤波后的激光雷达数据值。权　利　要　求　书 2/2 页 3 CN 114627351 A 3