(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210171913.4 (22)申请日 2022.02.24 (71)申请人 广州文远知行 科技有限公司 地址 511365 广东省广州市中新广州知识 城九佛建 设路333号自编687室 (72)发明人 郭湘　何钦尧　韩文韬　乐然　 韩旭　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 何少岩 (51)Int.Cl. G06V 20/64(2022.01) G06K 9/62(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 目标物的检测方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及人工智能技术领域， 公开了一种 目标物的检测方法、 装置、 设备及存储介质， 用于 提高跨相机目标物检测的准确度。 所述目标物的 检测方法包括： 对多个图像集中的每帧图像进行 3D目标检测， 得到每帧图像的多个目标物候选 框， 一个图像集对应一个相机， 每个图像集包括 相机采集的多帧图像； 对多个图像集中的每帧图 像进行3D空间特征提取， 得到每帧图像对应的3D 特征图； 将每帧图像对应的3D特征图进行特征融 合， 得到目标融合特征图； 从目标融合特征图中 提取每帧图像的各目标物候选框对应的融合特 征信息， 并根据每帧图像的各目标物 候选框对应 的融合特征信息， 对所有目标物候选框进行筛 选， 得到至少一个目标物检测框 。 权利要求书2页 说明书13页 附图3页 CN 114708583 A 2022.07.05 CN 114708583 A 1.一种目标物的检测方法， 其特 征在于， 所述目标物的检测方法包括： 对多个图像集中的每帧图像进行3D目标检测， 得到每帧图像的多个目标物候选框， 一 个图像集对应一个相机， 每 个图像集包括相机采集的多帧图像； 对所述多个图像集中的每帧图像进行3D空间特征提取， 得到每帧图像对应的3D特征 图； 将每帧图像对应的3D特 征图进行 特征融合， 得到目标融合特 征图； 从所述目标融合特征图中提取每帧图像的各目标物候选框对应的融合特征信 息， 并根 据每帧图像的各目标物候选框对应的融合特征信息， 对所有目标物候选框进行筛选， 得到 至少一个目标物检测框 。 2.根据权利要求1所述的目标物的检测方法， 其特征在于， 所述对所述多个图像集中的 每帧图像进行3D空间特 征提取， 得到每帧图像对应的3D特 征图， 包括： 对所述多个图像集中的每帧图像进行3D空间转换， 得到每帧图像对应的3D空间图； 获取每帧图像对应的目标特征信 息， 并将每帧图像对应的目标特征信 息投影至所述每 帧图像对应的3D空间图， 得到每帧图像对应的3D特 征图。 3.根据权利要求2所述的目标物的检测方法， 其特征在于， 所述对所述多个图像集中的 每帧图像进行3D空间转换， 得到每帧图像对应的3D空间图， 包括： 对所述多个图像集中的每帧图像进行逐像素的深度估计， 得到每帧图像对应的3D空间 图， 每帧图像对应的3D空间图中每 个3D点对应一个3D空间坐标信息 。 4.根据权利要求2所述的目标物的检测方法， 其特征在于， 所述获取每帧图像对应的目 标特征信息， 并将每 帧图像对应的目标特征信息投影至所述每 帧图像对应的3D空间图， 得 到每帧图像对应的3D特 征图， 包括： 读取每帧图像对应的目标特征信 息， 所述每帧图像对应的目标特征信 息包括每帧图像 的激光雷达特征信息、 毫米波雷达特征信息、 超声波特征信息和图像特征信息中的至少一 项； 获取特征坐标信 息， 所述特征坐标信 息用于指示每帧图像对应的目标特征信 息在对应 帧图像中的坐标信息； 根据所述特征坐标信息， 将每帧图像对应的目标特征信息映射至对应的3D空间图， 得 到每帧图像对应的3D特 征图。 5.根据权利要求1所述的目标物的检测方法， 其特征在于， 所述将每帧图像对应的3D特 征图进行 特征融合， 得到目标融合特 征图， 包括： 将所有图像集中同一帧图像对应的3D特征图进行鸟瞰图特征合成， 得到相同序列帧图 像对应的鸟瞰特 征图； 将相同序列帧图像对应的鸟瞰特 征图进行 特征叠加， 得到目标融合特 征图。 6.根据权利要求1所述的目标物的检测方法， 其特征在于， 所述将每帧图像对应的3D特 征图进行 特征融合， 得到目标融合特 征图， 还包括： 将各图像集中每帧图像对应的3D特征图进行特征叠加， 得到各图像集对应的初始融合 特征图； 将所有图像集对应的初始融合特 征图进行鸟瞰图特 征合成， 得到目标融合特 征图。 7.根据权利要求6所述的目标物的检测方法， 其特征在于， 所述将各图像集中每帧图像权　利　要　求　书 1/2 页 2 CN 114708583 A 2对应的3D特 征图进行 特征叠加， 得到各图像集对应的初始融合特 征图， 包括： 根据各帧图像采集时的车辆位姿信息， 对各图像集中每帧图像对应的3D特征图进行3D 点对齐变换， 得到各图像集中每帧图像对应的对齐特 征图； 将各图像集中每帧图像对应的对齐特征图进行逐3D点特征叠加， 得到各图像集对应的 初始融合特 征图。 8.根据权利要求6所述的目标物的检测方法， 其特征在于， 所述将所有图像集对应的初 始融合特 征图进行鸟瞰图特 征合成， 得到目标融合特 征图， 包括： 对各图像集对应的初始融合特 征图进行相同3D点检测， 得到鸟瞰图拼接位置信息； 根据所述鸟瞰图拼接位置信息， 对各图像集对应的初始融合特征图进行相同3D点的特 征叠加和拼接， 得到目标融合特 征图。 9.根据权利要求1所述的目标物的检测方法， 其特征在于， 所述对多个图像集中的每帧 图像进行3D目标检测， 得到每帧图像的多个目标物候选 框， 包括： 通过预置的单目3D目标检测算法， 对多个图像集中的每帧图像进行2D检测框生成和3D 检测框回归， 得到每帧图像的多个目标物候选 框。 10.根据权利要求1所述的目标物的检测方法， 其特征在于， 所述从所述目标融合特征 图中提取每帧图像的各目标物候选框对应的融合特征信息， 并根据每帧图像的各目标物候 选框对应的融合特征信息， 对所有目标物候选框进 行筛选， 得到至少一个目标物检测框， 包 括： 根据每帧图像的各目标物候选框对应的3D空间坐标信 息， 从所述目标融合特征图提取 每帧图像的各目标物候选 框对应的融合特 征信息； 通过预置的自注意力机制对每帧图像的各目标物候选框对应的融合特征信息进行目 标物信息预测， 得到每帧图像的各目标物候选 框对应的目标物信息； 根据每帧图像的各目标物候选框对应的目标物信息对所有目标物候选框进行目标物 筛选， 得到至少一个目标物检测框 。 11.一种目标物的检测装置， 其特 征在于， 所述目标物的检测装置包括： 检测模块， 用于对多个 图像集中的每帧图像进行3D目标检测， 得到每帧图像的多个目 标物候选 框， 一个图像集对应一个相机， 每 个图像集包括相机采集的多帧图像； 提取模块， 用于对所述多个 图像集中的每帧图像进行3D空间特征提取， 得到每帧图像 对应的3D特 征图； 融合模块， 用于将每帧图像对应的3D特 征图进行 特征融合， 得到目标融合特 征图； 筛选模块， 用于从所述目标融合特征图中提取每帧图像的各目标物候选框对应的融合 特征信息， 并根据每 帧图像的各目标物候选框对应的融合特征信息， 对所有目标物候选框 进行筛选， 得到至少一个目标物检测框 。 12.一种目标物的检测设备， 其特征在于， 所述目标物的检测设备包括： 存储器和至少 一个处理器， 所述存 储器中存 储有计算机程序； 所述至少一个处理器调用所述存储器中的所述计算机程序， 以使得所述目标物的检测 设备执行如权利要求1 ‑10中任意 一项所述的目标物的检测方法。 13.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处理器执行时实现如权利要求1 ‑10中任一项所述目标物的检测方法。权　利　要　求　书 2/2 页 3 CN 114708583 A 3