(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221023142 9.6 (22)申请日 2022.03.09 (71)申请人 南京航空航天大 学 地址 210001 江苏省南京市秦淮区御道街 29号 (72)发明人 汪俊　王洲涛　陈红华　张沅　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 牛婧 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态注意力驱动的三维点云特 征提取方法 (57)摘要 本发明公开了一种基于多模态注意力驱动 的三维点云特征提取方法， 包括： 收集待测物体 3D空间中对应的2D图像 数据和3D点云数据， 在3D 点云数据中标注待测物体的3D包围盒以及待测 物体的类别； 构建特征提取网络； 将2D图像数据 和3D点云数据输入特征提取网络中， 进行训练， 直至VoteNet损失函数收敛； 将收集的待测物体 3D空间中对应的2D图像数据和3D点云数据输入 到训练好的特征提取网络中， 输出待测物 体的3D 包围盒与待测物体的类别信息。 本发明3D点 云特 征提取方法使用注意力权重矩阵建立2D图像数 据与3D点 云数据之间的联系， 使得不同模态的数 据可以作用于提取3D点 云特征， 进 一步提升3D点 云特征提取效果。 权利要求书2页 说明书4页 附图2页 CN 114882494 A 2022.08.09 CN 114882494 A 1.一种基于多模态 注意力驱动的三维点云特 征提取方法， 其特 征在于， 包括如下步骤： (1)收集待测物体3D空间中对应的2D图像数据和3D点云数据， 在3D点云数据中标注待 测物体的3D包围盒以及待测物体的类别； (2)构建特征提取网络， 所述特征提取网络包括： 2D图像特征提取模块、 特征转换模块、 注意力模块、 3D点云特征提取模块和 3D物体检测任务模块， 所述2D图像特征提取模块的输 出端与特征转换模块的输入端连接， 所述特征转换模块的输出端、 3D点云特征提取模块的 输出端均与注意力模块的输入端连接， 所述注意力模块的输出端、 3D点云特征提取模块的 输出端均与3D物体检测任务模块的输入端 连接； 所述3D点云特征提取模块用于提取3D点云 的深度特征， 所述2D图像特征提取模块用于提取2D图像的深度特征， 所述特征转换模块用 于将2D图像的深度特征的形状变换为与3D点云特征形状相同的大小， 所述注 意力模块用于 生成注意力权重矩阵， 所述3D物体检测任务模块用于输出待测物体的3D包围盒与待测物体 的类别信息； (3)将步骤(1)收集的2D图像数据输入2D图像特征提取模块 中， 将3D点云数据输入3D点 云特征提取模块中， 对特征提取网络进行训练， 直至VoteNet损失函数收敛， 完成对特征提 取网络的训练； (4)将收集的待测物体3D空间中对应的2D图像数据和3D点云数据输入到训练好的特征 提取网络中， 输出待测物体的3D包围盒与待测物体的类别 信息。 2.根据权利要求1所述基于多模态注意力驱动的三维点云特征提取方法， 其特征在于， 所述3D点云特征提取模块由四个点集抽象层SA串 联组成， 将3D点云数据输入到第一个点集 抽象层SA中， 四个点 集抽象层SA提取分辨 率递减的点云特 征。 3.根据权利要求1所述基于多模态注意力驱动的三维点云特征提取方法， 其特征在于， 所述2D图像特征提取模块由一个2D卷积层和四个2D卷积残差模块依次连接构成， 将2D图像 数据输入2D卷积层中， 输出2D深度图像特征， 将2D深度图像特征输入到第一个2D卷积残差 模块后， 四个2D卷积残差模块依次输出分辨 率递减的深度图像特 征。 4.根据权利要求1所述基于多模态注意力驱动的三维点云特征提取方法， 其特征在于， 所述特征转换模块由四个特征转换单元组成， 每个特征转换单元分别连接一个2D卷积残差 模块， 将分辨率递减的深度图像特征输入对应的特征转换单元， 经形状变化函数， 输出与3 维点云特征形状相同的大小的图像特征； 所述特征转换单元由两层卷积层和一层全连接层 串联组成。 5.根据权利要求1所述基于多模态注意力驱动的三维点云特征提取方法， 其特征在于， 所述注意力模块用于生成注意力权重矩阵的过程具体为： 所述注意力模块由四个注意力单 元组成， 每个注意力单元均使用两层的多层感知机MLP处理深度图像特征Q， 得到更新图像 特征， 使用两层的多层感知机MLP处理点云特征V， 得到更新点云特征， 将所述更新图像特征 与更新点云特征进行点乘， 经softmax矩阵处 理后， 再除以调节项d， 得到注意力权 重矩阵F： F＝softmax(MLP(Q) ·MLP(V))/d 其中， MLP()表示两层的多层感知机 MLP的处理过程。 6.根据权利要求5所述基于多模态注意力驱动的三维点云特征提取方法， 其特征在于， 将每个注意力单元的注意力权重矩阵F与对应点集抽象层SA输出的点云特征进 行点对点乘 法操作， 得到加强点云特征， 将加强点云特征输入3D物体检测任务模块中， 输出待测物体的权　利　要　求　书 1/2 页 2 CN 114882494 A 23D包围盒与待测物体的类别 信息。 7.根据权利要求1所述基于多模态注意力驱动的三维点云特征提取方法， 其特征在于， 所述VoteNet损失函数LVoteN为： LVoteNet＝LVote‑reg+λ1Lobj‑cls+λ2Lbox+λ3Lsem‑cls 其中， LVote‑reg为投票损失函数， Mpos为待 测物体前景点云数据总和， Δxi为投票偏移量， 为投票偏移量真值， Γ[si on object] 表示只对点云物体表面的点进行投票运算， λ1表示物体分类损失权 值， Lobj‑cls为物体分类损 失函数， λ2表示3D包围盒的回归损失权 值， Lbox为3D包围盒的回归损失函 数， λ3表示语义类别 损失权值， Lsem‑c为语义类别损失函数。权　利　要　求　书 2/2 页 3 CN 114882494 A 3