(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210989737.5 (22)申请日 2022.08.17 (71)申请人 北京鉴智科技有限公司 地址 100084 北京市海淀区中关村东路1号 院8号楼十六层B1801D-2 (72)发明人 王啸峰　叶云　黄冠　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. G06T 7/579(2017.01) G06T 7/80(2017.01) G06T 9/00(2006.01) G06V 10/77(2022.01) G06V 10/80(2022.01) (54)发明名称 深度信息获取方法、 装置、 电子设备及存储 介质 (57)摘要 本申请提供了一种深度信息获取方法、 装 置、 电子设备及存储介质。 所述方法包括： 将目标 车辆的第一帧图像和第二帧图像输入至深度信 息融合模型； 调用单目深度信息获取层对第一帧 图像的图像特征进行处理， 得到第一帧图像中每 个像素的单目深度信息； 调用多目深度信息获取 层根据单目深度信息、 预测得到的目标车辆的车 辆速度和目标相机的相机外参， 对第一帧图像和 第二帧图像的图像特征进行处理， 得到第一帧图 像中每个像素的多目深度信息， 及多目深度信息 的确信度； 调用深度信息融合层根据确信度， 对 第一帧图像中每个像素的单目深度信息和多目 深度信息进行融合， 得到第一帧图像的图像深度 信息。 本申请可以提高预测图像深度的精确度。 权利要求书3页 说明书13页 附图3页 CN 115457105 A 2022.12.09 CN 115457105 A 1.一种深度信息获取 方法， 其特 征在于， 包括： 将目标车辆的第一帧图像和第 二帧图像输入至深度信 息融合模型； 所述第 一帧图像和 所述第二帧图像为两帧连续的图像， 且所述第一帧图像的生成时间晚于所述第二帧图像， 所述深度信息融合模型包括： 单目深度信息获取层、 多目深度信息获取层和深度信息融合 层； 调用所述单目深度信 息获取层对所述第 一帧图像的图像特征进行处理， 得到所述第 一 帧图像中每 个像素的单目深度信息； 调用所述多目深度信 息获取层根据 所述单目深度信 息、 预测得到的所述目标车辆的车 辆速度和目标相机的相机外参， 对所述第一帧图像和所述第二帧图像的图像特征进行处 理， 得到所述第一帧图像中每 个像素的多目深度信息， 及所述多目深度信息的确信度； 调用所述深度信 息融合层根据 所述确信度， 对所述第 一帧图像中每个像素的单目深度 信息和多目深度信息进行融合， 得到所述第一帧图像的图像深度信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述深度信息融合模型还包括： 相机外参 获取层， 在所述将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模型之后， 还包 括： 调用所述相机外参获取层， 对所述第一帧图像和所述第二帧图像的图像特征进行处 理， 得到所述目标相机的相机 外参； 根据所述相机外参中的相机平移向量和目标相机的相机拍摄帧率， 确定所述目标车辆 的车辆速度。 3.根据权利要求1所述的方法， 其特征在于， 所述多目深度信 息获取层包括： 编码模块、 代价体构建模块和解码模块， 所述调用所述多目深度信 息获取层根据所述单目深度信 息、 预测得到的所述目标车辆 的车辆速度和目标相机的相机外参， 对所述第一帧图像和所述第二帧图像的图像特征进 行 处理， 得到所述第一帧图像中每个像素的多目深度信息， 及所述多目深度信息的确信度， 包 括： 调用所述编码模块对所述第 一帧图像和所述第 二帧图像进行编码处理， 得到所述第 一 帧图像的第一图像特 征和所述第二帧图像的第二图像特 征； 调用所述代价体构建模块对所述第 一图像特征和所述第 二图像特征进行单应性变换， 得到变换特征， 并对所述相 机外参和所述变换特征进行处理， 得到所述第一帧图像中每个 像素的代价体特 征； 调用所述解码模块根据所述车辆速度和所述单目深度信息对所述代价体特征进行处 理， 得到所述第一帧图像中每个像素 的多目深度搜索范围信息， 并根据所述多目深度搜索 范围信息， 确定所述第一帧图像中每个像素 的多目深度信息， 及所述多目深度信息的确信 度。 4.根据权利要求3所述的方法， 其特征在于， 所述调用所述代价体构建模块对所述第 一 图像特征和所述第二图像特征进行单应性变换， 得到变换特征， 并对所述相 机外参和所述 变换特征进行处 理， 得到所述第一帧图像中每 个像素的代价体特 征， 包括： 调用所述代价体构建模块对所述第 一图像特征和所述第 二图像特征进行单应性变换，权　利　要　求　书 1/3 页 2 CN 115457105 A 2得到所述第一图像特 征的第一变换 特征和所述第二图像特 征的第二变换 特征； 根据所述第一变换特征、 所述第二变换特征和所述相机外参， 得到所述第二帧图像中 每个像素的初始 代价体特 征； 将所述初始代价体特征投影至所述第 一帧图像上， 得到所述第 一帧图像中每个像素的 代价体特 征。 5.根据权利要求1所述的方法， 其特征在于， 所述调用所述深度信 息融合层根据 所述确 信度， 对所述第一帧图像中每个像素 的单目深度信息和多目深度信息进行融合， 得到所述 第一帧图像的图像深度信息， 包括： 调用所述深度信息融合层获取所述第一帧图像中确信度大于第一确信度阈值的第一 像素， 并将所述第一像素的多目深度信息作为所述第一像素的深度信息； 调用所述深度信息融合层获取所述第一帧图像中确信度小于第二确信度阈值的第二 像素， 并将所述第二像素 的单目深度信息作为所述第二像素 的深度信息； 所述第一确信度 阈值大于所述第二确信度阈值； 调用所述深度信息融合层获取所述第一帧图像中除所述第一像素和所述第二像素外 的第三像素， 并根据所述第三像素的确信度对所述第三像素的单目深度信息和所述多目深 度信息进行融合， 得到融合深度信息， 将所述融合深度信息作为所述第三像素的深度信息； 根据所述第一像素的深度信息、 所述第二像素的深度信息和所述第三像素的深度信 息， 得到所述第一帧图像的图像深度信息 。 6.一种深度信息获取装置， 其特 征在于， 包括： 图像输入模块， 用于将目标车辆的第一帧图像和第二帧图像输入至深度信息融合模 型； 所述第一帧图像和所述第二帧图像为两 帧连续的图像， 且所述第一帧图像的生成时间 晚于所述第二帧图像， 所述深度信息融合模型包括： 单目深度信息获取层、 多目深度信息获 取层和深度信息融合层； 单目深度获取模块， 用于调用所述单目深度信 息获取层对所述第 一帧图像的图像特征 进行处理， 得到所述第一帧图像中每 个像素的单目深度信息； 多目深度获取模块， 用于调用所述多目深度信息获取层根据所述单目深度信息、 预测 得到的所述目标车辆的车辆速度和目标相机的相机外参， 对所述第一帧图像和所述第二帧 图像的图像特征进行处理， 得到所述第一帧图像中每个像素 的多目深度信息， 及所述多目 深度信息的确信度； 图像深度获取模块， 用于调用所述深度信息融合层根据所述确信度， 对所述第一帧图 像中每个像素的单目深度信息和多目深度信息进 行融合， 得到所述第一帧图像的图像深度 信息。 7.根据权利要求6所述的装置， 其特征在于， 所述深度信息融合模型还包括： 相机外参 获取层， 所述装置还 包括： 相机参数获取模块， 用于调用所述相机外参获取层， 对所述第一帧图像和所述第二帧 图像的图像特 征进行处 理， 得到所述目标相机的相机 外参； 车辆速度确定模块， 用于根据 所述相机外参中的相机平移向量和目标相机的相机拍摄 帧率， 确定所述目标 车辆的车辆 速度。权　利　要　求　书 2/3 页 3 CN 115457105 A 3