(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210445999.5 (22)申请日 2022.04.26 (71)申请人 北京大学深圳研究生院 地址 518000 广东省深圳市南 山区西丽深 圳大学城北大园区H栋208室 (72)发明人 高伟　谢良　李革　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 钟扬飞 (51)Int.Cl. G06T 9/00(2006.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种处理点云数据的方法和目标处理点云 数据模型 (57)摘要 本申请实施例提供一种处理点云数据的方 法和目标处理点云数据模型， 该方法包括： 获取 待压缩的点云数据， 其中， 所述待压缩的点云数 据是对目标场景或者目标对象进行点云数据采 集得到的； 将所述待压缩的点云数据输入压缩模 型， 通过所述压缩模型得到压缩后点云数据， 其 中， 所述压缩模型包括： 多层特征提取模块， 每一 层特征提取模块进一步包括局部特征提取模块 以及与所述局部特征提取模块连接的全局特征 提取模块， 所述全局特征提取模块至少包括自注 意力模块和前馈神经网络； 根据所述压缩后点云 数据进行图像处理。 通过本申请的一些实施例能 够实现对点 云数据的压缩， 同时能够获得点云数 据的全局特征， 进而能够提升后续图像处理的准 确率。 权利要求书2页 说明书18页 附图4页 CN 115170682 A 2022.10.11 CN 115170682 A 1.一种处 理点云数据的方法， 其特 征在于， 所述方法包括： 获取待压缩的点云数据， 其中， 所述待压缩的点云数据是对目标场景或者目标对象进 行点云数据采集得到的； 将所述待压缩的点云数据输入压缩模型， 通过所述压缩模型得到压缩后点云数据， 其 中， 所述压缩模型包括： 多层特征提取模块， 每一层特征提取模块进一步包括局部特征提取 模块以及与所述局部特征提取模块连接的全局特征提取模块， 所述全局特征提取模块至少 包括自注意力模块和前馈神经网络； 根据所述压缩后点云数据进行图像处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述全局特征提取模块还包括： 第一归一 化模块和第二归一 化模块； 其中， 所述第一归一 化模块被 配置为： 将所述自注意力模块的输出、 下采样局部特征和所述点云数据的空间坐标输入所述第 一归一化模块； 通过所述第 一归一化模块对所述自注意力模块的输出、 下采样局部特征和所述点云数 据的空间坐标进行加 和操作， 获得第一加 和特征； 对所述第一加 和特征进行归一 化操作， 获得第一归一 化特征； 所述第二归一 化模块被 配置为： 将所述前馈神经网络的输出和所述第一归一 化特征输入到所述第二归一 化模块； 通过所述第 二归一化模块对所述前馈神经网络的输出和所述第 一归一化特征， 进行加 和操作获得第二加 和特征； 对所述第二加 和特征进行归一 化操作， 获得 下采样全局特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述通过所述压缩模型得到压缩后 点云数 据， 包括： 将第i‑1全局特征提取模块的输出输入第i局部特征提取模块进行局部特征提取， 获得 第i下采样局部特 征； 将所述第i ‑1全局特征提取模块的输出和所述第 i下采样局部特征输入第i全局特征提 取模块， 获得第i下采样全局特 征； 其中， i为大于或等于2的整数， 第i下采样全局特征是对所述点云数据进行目标倍率压 缩后得到的数据， 所述目标倍 率是由第i全局特 征提取模块中的所有下采样卷积核确定的； 重复上述 步骤， 直至对所述 点云数据的压缩码率满足要求， 获得目标 下采样全局特 征； 将所述目标 下采样全局特 征输入到多层感知机中， 获得压缩后点云数据。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 在所述根据 所述压缩后点云数据 进行图像处 理之前， 所述方法还 包括： 将所述压缩后点云数据输入到超先验编码器中， 通过所述超先验编码器对所述压缩后 点云数据进行 上采样和下采样 操作， 获得超先验点云数据特 征； 根据所述超先验点云数据 特征， 获得高斯分布参数， 其中， 所述高斯分布参数包括均值 和方差； 基于所述高斯分布参数对所述压缩后 点云数据进行算数编码解码操作， 获得目标压缩 点云数据；权　利　要　求　书 1/2 页 2 CN 115170682 A 2所述根据所述压缩后点云数据进行图像处 理， 包括： 根据所述目标压缩点云数据进行图像处 理。 5.根据权利要求4所述的方法， 其特征在于， 所述通过所述超先验编码器对所述压缩后 点云数据进行 上采样和下采样 操作， 获得超先验点云数据特 征， 包括： 将所述压缩后点云数据进行 下采样操作， 获得超先验下采样全局特 征； 将所述超先验下采样全局特 征进行上采样操作， 获得超先验点云数据特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述超先验编码器包括多层感知机和无位 置全局特 征提取模块； 所述将所述压缩后点云数据进行 下采样操作， 获得超先验下采样全局特 征， 包括： 将第i‑1无位置全局特 征提取模块的输出输入第i多层感知机， 获得第i感知特 征； 将所述第i感知特征和所述空间坐标输入第i无位置全局特征提取模块进行全局特征 提取， 获得第i超先验下采样全局特 征； 重复上述步骤， 直至所述点云数据的先验压缩码率满足要求， 获得所述超先验下采样 全局特征。 7.根据权利要求4所述的方法， 其特征在于， 所述根据所述目标压缩点云数据进行图像 处理， 包括： 根据所述目标压缩点云数据进行分类； 和/或 根据所述目标压缩点云数据重建所述目标场景或者所述目标对象。 8.根据权利要求6所述的方法， 其特征在于， 所述根据所述目标压缩点云数据重建所述 目标场景或者所述目标对象， 包括： 将所述目标压缩点云数据输入到解码模块中， 通过所述解码模块得到所述目标场景或 者目标对象， 其中， 所述解码模块包括： 多层点云解码模块， 每一层点云解码模块进一步包 括解码卷积层以及与所述 解码卷积层连接的无位置全局特 征提取模块。 9.根据权利要求1所述的方法， 其特征在于， 所述方法应用于目标处理点云数据模型， 所述目标处理点云数据模型包括： 压缩模型、 超先验编码器、 解码模块和识别模块， 所述目 标处理点云数据模型 是通过目标损失函数训练得到； 其中， 所述目标损 失函数是通过重建结果损 失值和识别结果损 失值共同表征的， 所述 重建结果损失值由所述压缩模型、 所述超先验编码器和所述解码模块决定， 所述识别结果 损失值由所述压缩 模型、 所述超先验编码器和所述识别模块决定 。 10.一种目标处 理点云数据模型， 其特 征在于， 所述模型包括： 重建模块， 用于对待压缩的点云数据进行压缩和重建， 获得重建图像， 其中， 所述重建 模块包括： 压缩模型， 用于将所述 点云数据进行 下采样编码， 获得压缩后点云数据； 超先验编码器， 用于根据所述压缩后点云数据， 获得高斯分布参数； 解码模块， 用于通过所述高斯分布参数， 将所述压缩后点云数据进行上采样解码， 获得 所述重建图像， 所述重建图像为目标场景图像或者目标对象图像； 识别模块， 用于通过对所述压缩后点云数据进行分类， 获得 所述点云数据的类型。权　利　要　求　书 2/2 页 3 CN 115170682 A 3