(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221023823 3.X (22)申请日 2022.03.11 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 冯志勇　昌硕　尉志青　刘洋洋　 宁帆　张平　张奇勋　黄赛　 (74)专利代理 机构 北京银龙知识产权代理有限 公司 11243 专利代理师 吴立臣 (51)Int.Cl. G06V 20/56(2022.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) (54)发明名称 数据处理方法、 装置、 电子设备及可读存储 介质 (57)摘要 本发明提供一种数据处理方法、 装置、 电子 设备及可读存储介质。 该方法包括： 获取第一视 觉图像和第一雷达点云数据， 第一雷达点云数据 为与第一视觉图像对应的雷达点 云数据； 将第一 视觉图像和第一雷达点云数据输入至训练后的 目标检测网络， 获得第一视觉图像上第一目标所 在第一约束框的三维位置信息， 第一约束框为三 维约束框； 根据三维位置信息， 确定第一目标的 三维识别信息。 本发明通过在特征级别上对视觉 图像和雷达点云数据进行融合， 突破 单一传感器 的限制， 不仅可以估计出目标的大小位置， 而且 目标识别结果不易受到环境的影 响， 进而提升三 维目标识别的性能。 权利要求书3页 说明书16页 附图3页 CN 114612873 A 2022.06.10 CN 114612873 A 1.一种数据处 理方法， 其特 征在于， 包括： 获取第一视觉图像和第 一雷达点云数据， 所述第 一雷达点云数据为与 所述第一视觉图 像对应的雷达点云数据； 将所述第一视觉图像和所述第 一雷达点云数据输入至训练后的目标检测网络， 获得所 述第一视觉图像上第一目标所在第一约束框的三 维位置信息， 所述第一约束框为三 维约束 框； 根据所述 三维位置信息， 确定所述第一目标的三维识别 信息。 2.根据权利要求1所述的方法， 其特征在于， 所述获取第 一视觉图像和第 一雷达点云数 据之前， 所述方法还 包括： 获取用于网络训练的第 二视觉图像和第 二雷达点云数据， 所述第 二雷达点云数据为与 所述第二视 觉图像对应的雷达点云数据； 根据所述第二视 觉图像和所述第二雷达点云数据， 获取融合特 征图； 将所述融合特 征图输入目标检测网络， 得到所述第二视 觉图像上第二目标的预测值； 根据所述第二目标的预测值和预先标记的所述第二目标的真实值训练所述目标检测 网络， 得到所述训练后的目标检测网络 。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 二视觉图像和所述第 二雷 达点云数据， 获取融合特 征图， 包括： 根据所述第二雷达点云数据， 获取对应所述第二雷达点云数据的深层雷达特 征图； 根据所述第二视 觉图像， 获取对应所述第二视 觉图像的图像特 征图； 将所述深层雷达特 征图和所述图像特 征图进行 特征融合， 得到融合特 征图。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述第二雷达点云数据， 获取对 应所述第二雷达点云数据的深层雷达特 征图， 包括： 对所述第二雷达点云数据进行坐标转换， 得到坐标转换后的第三雷达点云数据； 根据预设内参， 获取所述第三雷达点云数据投影至二维图像平面上的第一映射数据， 所述第一映射数据包括雷达点的深度、 水平方向速度和垂直方向速度； 根据所述第 一映射数据进行预设渲染处理， 得到对应所述第 二雷达点云数据的原始雷 达特征图； 根据所述原 始雷达特 征图， 获取 所述深层雷达特 征图。 5.根据权利要求3所述的方法， 其特征在于， 所述根据所述第二视觉 图像， 获取对应所 述第二视 觉图像的图像特 征图， 包括： 对所述第二视 觉图像进行 特征提取， 得到多个不同尺度的特 征图； 将所述多个不同尺度的特 征图进行插值处 理， 得到多个相同尺度的特 征图； 对所述多个相同尺度的特征图进行融合处理， 得到对应所述第 二视觉图像的图像特征 图。 6.根据权利要求2所述的方法， 其特征在于， 所述将所述融合特征图输入目标检测网 络， 得到所述第二视 觉图像上第二目标的预测值， 包括： 在所述目标检测网络包括多个检测网络的情况下， 将所述融合特征图分别输入所述多 个检测网络， 得到所述第二目标的预测值； 其中， 所述第二目标的预测值包括第一热力图上所述第二目标的中心点的预测值、 第权　利　要　求　书 1/3 页 2 CN 114612873 A 2二热力图上所述第二 目标的顶点的预测 值、 所述顶点相对所述中心点的预测偏移值、 所述 中心点的预测偏移 误差值、 所述顶点的预测偏移 误差值、 所述第二目标的预测维度、 所述第 二目标的预测深度、 所述第二目标在所述第二视 觉图像上的预测二维尺寸。 7.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 若所述第二目标的顶点的预测值超出所述预测二维尺寸， 则将第 二约束框上目标点的 值更新为所述第二目标的顶点的预测值， 其中， 所述第二约束框为二维约束框， 且与所述预 测二维尺寸对应， 所述目标点的值为所述第二约束框上距离所述第二目标的顶点最近的 点。 8.根据权利要求2或6所述的方法， 其特征在于， 所述根据所述第二目标的预测值和预 先标记的所述第二目标的真实值训练所述目标检测网络， 得到所述训练后的目标检测网 络， 包括： 根据所述第 二目标的预测值和所述第 二目标的真实值， 计算所述目标检测网络的损失 函数； 基于所述损失函数训练所述目标检测网络， 得到训练后的目标检测网络 。 9.根据权利要求1所述的方法， 其特征在于， 所述三维位置信息包括顶点位置信息、 维 度信息和深度信息； 所述根据所述 三维位置信息， 确定所述第一目标的三维识别 信息， 包括： 根据所述顶点位置信息、 维度信息和深度信息， 获取所述第一目标的第一位置信息和 旋转角度信息； 确定所述第一目标的三维识别信息， 所述三维识别信息包括所述维度信息、 所述深度 信息、 所述第一 位置信息和所述旋转角度信息 。 10.根据权利要求9所述的方法， 其特征在于， 所述根据所述顶点位置信 息、 维度信 息和 深度信息， 获取 所述第一目标的第一 位置信息和旋转角度信息， 包括： 根据所述顶点位置信息、 所述维度信息和所述深度信息， 计算得到顶点投影至二维图 像平面上的第二映射数据； 根据所述第二映射数据、 所述顶点位置信 息、 所述维度信 息和第一目标的位姿信 息， 计 算得到所述第一 位置信息和所述旋转角度信息 。 11.一种数据处 理装置， 其特 征在于， 包括： 第一获取模块， 用于获取第一视觉 图像和第一雷达点云数据， 所述第一雷达点云数据 为与所述第一视 觉图像对应的雷达点云数据； 第一处理模块， 用于将所述第 一视觉图像和所述第 一雷达点云数据输入至训练后的目 标检测网络， 获得所述第一视觉图像上第一 目标所在第一约束框的三维位置信息， 所述第 一约束框为 三维约束框； 第二处理模块， 用于根据所述 三维位置信息， 确定所述第一目标的三维识别 信息。 12.一种电子设备， 包括处理器和收发器， 所述收发器在处理器的控制下接收和发送数 据， 其特征在于， 所述处 理器用于执 行以下操作： 获取第一视觉图像和第 一雷达点云数据， 所述第 一雷达点云数据为与 所述第一视觉图 像对应的雷达点云数据； 将所述第一视觉图像和所述第 一雷达点云数据输入至训练后的目标检测网络， 获得所权　利　要　求　书 2/3 页 3 CN 114612873 A 3