(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210254638.2 (22)申请日 2022.03.15 (71)申请人 北京大学深圳研究生院 地址 518000 广东省深圳市南 山区西丽深 圳大学城北大校区 (72)发明人 高伟　范松林　李革　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 吴士卿 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/46(2022.01) G06V 10/52(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) (54)发明名称 特征融合的点云显著性目标检测方法、 装 置、 设备与介质 (57)摘要 本发明涉及计算机视觉技术领域， 公开了一 种特征融合的点云显著性目标检测方法、 装置、 设备和介质。 特征融合的点云显著性目标检测方 法运用于目标检测模型， 目标检测模 型包括特征 融合模块、 点云感知模块和显著性感知模块。 本 发明通过 获取点云图， 并通过预设骨干网络对点 云图进行多层次的特征提取， 得到不同采样尺度 的多层特征； 将多层特征中的最顶层特征输入到 点云感知模块进行初步融合， 得到语义特征； 将 多层特征输入到特征融合模块中进行特征聚合， 得到紧凑特征； 将紧凑特征输入到点云感知模块 进行分级融合， 得到多尺度特征； 将语义特征和 多尺度特征输入到显著性 感知模块进行预测， 得 到点云图的预测结果； 从而准确确定点云图的显 著性目标。 权利要求书3页 说明书15页 附图6页 CN 114612652 A 2022.06.10 CN 114612652 A 1.一种特征融合的点云显著性目标检测方法， 其特征在于， 所述特征融合的点云显著 性目标检测方法运用于目标检测模型， 所述 目标检测模型包括特征融合模块、 点云感知模 块和显著性感知模块， 所述特 征融合的点云显著性目标检测方法包括如下步骤： 获取点云图， 并通过预设骨干网络模型对所述点云图进行多层次的特征提取， 得到所 述点云图对应的不同采样尺度的多层特 征； 基于所述多层特征的最顶层特征， 通过所述点云感知模块进行初步融合特征， 得到所 述最顶层特 征对应的语义特 征； 基于所述多层特征， 通过所述特征融合模块进行特征聚合， 得到所述多层特征对应的 紧凑特征； 基于所述紧凑特征， 通过所述点云感知模块进行分级融合， 得到所述紧凑特征对应的 多尺度特 征； 基于所述语义特征和所述多尺度特征， 通过所述显著性感知模块进行预测， 生成所述 点云图对应的预测结果。 2.如权利要求1所述的特征融合的点云显著性目标检测方法， 其特征在于， 所述获取点 云图， 并通过预设骨干网络模型对所述点云图进行多层次的特征提取， 得到所述点云图对 应的不同采样尺度的多层特征的步骤之前， 所述特征融合的点云显著性目标检测方法还包 括： 获取多个不同场景的样本点云图， 并将所述样本点云图构建用于训练初始模型的训练 集； 获取各个样本点云图对应的标注显著对象的显著性 点云图； 将所述训练集中的所述样本点云图作为所述初始模型的输入， 将所述显著性点云图作 为所述初始模型的输出， 并对所述初始化模型进行迭代训练， 获得 所述目标检测模型。 3.如权利要求1所述的特征融合的点云显著性目标检测方法， 其特征在于， 所述多层特 征包括第一层特征、 第二层特征、 第三层特征和第四层特征， 所述获取点云图， 并通过预设 骨干网络模型对所述点云图进 行多层次的特征提取， 得到所述点云图对应的不同采样尺度 的多层特 征的步骤 包括： 获取点云图， 并将所述 点云图输入到预设骨干网络模型； 通过所述预设骨干网络模型对所述点云图进行多层次的特征提取， 得到所述点云图对 应的不同采样尺度的第一层特 征、 第二层特 征、 第三层特 征和第四层特 征。 4.如权利要求1中的所述的特征融合的点云显著性目标检测方法， 其特征在于， 所述多 层特征包括第一层特征、 第二层特征、 第三层特征和第四层特征， 所述第四层特征为所述多 层特征的最顶层特征， 所述基于所述多层特征 的最顶层特征， 通过所述点云感知模块进行 初步融合特 征， 得到所述 最顶层特 征对应的语义特 征的步骤 包括； 将所述第四层特征输入到所述点云感知模块， 并对所述第 四层特征进行分支， 得到分 支后的第四层特 征； 根据预设近邻算法寻找分支后的第四层特 征的各点的第一 最近邻点； 获取每个第四层特征的各点和各个第 一最近邻点的第 一坐标信 息， 并通过所述第 一坐 标信息计算所述第四层特 征的各点与所述第一 最近邻点的第一相对位置； 根据预设拼接公式， 将所述第一最近邻点与所述第一相对位置进行融合拼接， 得到所权　利　要　求　书 1/3 页 2 CN 114612652 A 2述第四层特 征对应的第一局部区域； 根据预设融合公式， 将所述第 四层特征与所述第一局部区域进行初步融合， 得到所述 第四层特 征对应的语义特 征。 5.如权利要求1所述的特征融合的点云显著性目标检测方法， 其特征在于， 所述多层特 征包括第一层特征、 第二层特征、 第三层特征和第四层特征， 所述基于所述多层特征， 通过 所述特征融合模块进行 特征聚合， 得到所述多层特 征对应的紧凑特 征的步骤 包括： 将所述第一层特征、 所述第二层特征、 所述第三层特征和所述第 四层特征输入到所述 特征融合模块； 对所述第四层特征进行上采样， 并通过预设多层感知机将上采样后第四层特征与 所述 第三层特 征进行拼接聚合， 得到第三层拼接结果； 对所述第三层拼接结果进行上采样， 并通过预设多层感知机将上采样后的第 三层拼接 结果与所述第二层特 征进行拼接聚合， 得到第二层拼接结果； 对所述第二层拼接结果进行上采样， 并通过预设多层感知机将上采样后的第 二层拼接 结果与所述第一层特征进 行拼接聚合， 得到所述第一层特征、 所述第二层特征、 所述第三层 特征和所述第四层特 征对应的紧凑特 征。 6.如权利要求1所述的特征融合的点云显著性目标检测方法， 其特征在于， 所述基于所 述紧凑特征， 通过所述点云感知模块进行分级融合， 得到所述紧凑特征对应的多尺度特征 的步骤包括： 将所述紧凑特征输入到所述点云感知模块， 并对所述紧凑特征进行分支， 得到分支后 的紧凑特 征； 根据预设近邻算法寻找分支后的紧凑特 征的各点的第二 最近邻点； 获取每个 紧凑特征的各点和各个第 二最近邻点的第 二坐标信 息， 并通过所述第 二坐标 信息计算所述紧凑特 征的各点与所述第二 最近邻点的第二相对位置； 根据预设拼接公式， 将所述第二最近邻点与所述第二相对位置进行融合拼接， 得到所 述紧凑特 征对应的第二局部区域； 根据预设融合公式， 将所述紧凑特征与所述第二局部区域进行初步融合， 得到所述紧 凑特征对应的多尺度特 征。 7.如权利要求1所述的特征融合的点云显著性目标检测方法， 其特征在于， 所述基于所 述语义特征和所述多尺度特征， 通过所述显著性感知模块进行预测， 生成所述点云图对应 的预测结果的步骤 包括： 将所述语义特 征和所述多尺度特 征输入到所述显著性感知模块； 对所述语义特征进行上采样， 并通过预设多层感知机对上采样后的语义特征进行处 理， 得到处 理后的语义特 征； 根据预设拼接算法， 将所述处理后的语义特征与所述多尺度特征进行融合拼接， 得到 所述处理后的语义特 征与所述多尺度特 征对应的拼接结果； 通过预设多层感知机对所述 拼接结果进行 预测， 得到所述 拼接结果对应的预测结果。 8.一种特征融合的点云显著性目标检测装置， 其特征在于， 所述特征融合的点云显著 性目标检测装置包括： 获取模块， 用于获取点云图， 并通过预设骨干网络模型对所述点云图进行多层次的特权　利　要　求　书 2/3 页 3 CN 114612652 A 3