(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210772125.0 (22)申请日 2022.06.30 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 许可　刘心溥　马燕新　王玲　 (74)专利代理 机构 国防科技大 学专利服 务中心 43202 专利代理师 刘芳 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/56(2022.01) (54)发明名称 一种基于注意力机制的点云补全方法 (57)摘要 一种基于注意力机制的点云补 全方法， 首先 获取点云补全算法所需的数据集， 将残缺点云送 入编码器提取得到残缺点云的特征向量， 再将特 征向量送入解码器中， 生成完整的点云； 用生成 点云和真实点云之间的倒角距离对生成的点云 进行质量评估， 作为损失函数指导更新神经网络 参数； 最后将实际扫描的点云数据送入训练好的 编码器和解码器， 生成完整的点云。 本发明引入 AGFA模块对已有几何结构进行特征提取， 保证了 补全后的点 云形状的真实性和更好的细节结构， 采用CGFA模块， 在生成点云阶段， 可以更好的参 考前置粗略点云的特征， 在低分辨率点云的基础 上生成更高质量的高分辨率点云， 补全后点云表 面光滑， 噪声点较少， 符合真实点云的分布。 权利要求书2页 说明书7页 附图6页 CN 115131245 A 2022.09.30 CN 115131245 A 1.一种基于注意力机制的点云补全方法， 其特 征在于包括两个阶段： 1)训练阶段： 首先获取点云补全算法所需的数据集， 包含有若干个残缺和完整的点云 对， 将残缺点云送入编码 器提取得到残缺点云的特征向量， 然后将特征向量送入解码 器中， 生成完整的点云； 对生成的点云进 行质量评估， 计算生成点云和真实点云之 间的倒角距离， 作为损失函数指导更新编码器和解码器中的神经网络参数； 2)实施阶段： 获取实际扫描的点云数据， 将点云数据送入在训练阶段已经训练好的编 码器和解码器中， 通过提取残缺 点云的特 征向量， 生成完整的点云。 2.如权利要求1所述的一种基于注意力机制的点云补全方法， 其特 征在于： 所述的编码器为 生成残缺 点云特征向量： 在获取到残缺点云数据Pin后， 将其送入编码器中， 编码器的结构依次为位置编码模块、 3个串联的自适应全局特征聚合模块和 一个最大值池化模块， 位置编码模块由两个串联 的 多层感知器MLP层组成， 位置编 码模块的第二个多层感知器MLP层输出送入自适应全局特征 聚合模块AGFA， 自适应全局特征聚合模块共有四个， 组成串 联结构， 最后一个自适应全局特 征聚合模块4的输出结果分为二路， 一路作为交叉全局特征聚合模块1的一个输入， 另一路 经过最大值池化操作后得到残缺 点云特征向量f， 残缺 点云特征向量f用公式表达如下： f＝Max‑pool(AGFA(4)(MLP(Pin))) 式中的Max‑pool代表最大值池化操作， 上 标(4)代表迭代通过4个串联的AGFA模块。 3.如权利要求2所述的一种基于注意力机制的点云补全方法， 其特 征在于： 所述的自适应全局特征聚合模块AGFA的结构为， 将位置编码模块的第 二个多层感知器 MLP的输出作为 “值”矩阵和“键”矩阵， 同时将位置编码模块的第二个多层感知器MLP的输出 的下采样作为 “查询”矩阵， 将“值”矩阵、“键”矩阵和“查询”矩阵一起送入多头注意力模块1 中， 多头注 意力模块1由Pytorch深度学习工具包实现； 然后将多头注 意力模块 1的输出结果 与“查询”矩阵组成跨越连接， 跨越连接后的输出经过归一化， 送入多层感知器MLP2， 多层感 知器MLP2输出与归一化的输出再次构成第二次跨越连接， 将第二次跨越连接的输出结果取 代上次位置编 码模块的第二个多层感知器MLP的输出， 重复这一过程3次后得到聚合特征矩 阵； 将聚合特征矩阵送入平均值池化和多层感知器， 求得通道注意力权重矩阵， 通道注意力 权重矩阵与聚合特征矩阵相乘得到自适应全局特征聚合模块的输出， 随后 将自适应全局特 征聚合模块的输出送入最大值池化层， 经最大值池化后， 得到残缺 点云特征向量f。 4.如权利要求1所述的一种基于注意力机制的点云补全方法， 其特 征在于： 所述的解码器为 生成完整点云： 在得到残缺点云特征向量后， 将其送入解码器， 解码器的结构依次为粗略点云生成模 块、 点云精细化模块1和点云精细化模块2， 解码器的输出为 最终的完整点云Pout； 所述的粗略点云生成模块中， 将残缺点云特征向量依次通过多层感知器和反卷积层聚 合几何特征， 将反卷积层输出和自适应全局特征聚合模块4的输出一起送入交叉全局特征 聚合模块 1， 其中的交叉全局特征聚合模块1的结构为， 将反卷积层输出作为 “值”矩阵，“键” 矩阵和“查询”矩阵， 送入多头注意力模块2中， 头注 意力模块2由Pytorch深度学习工具包实 现； 再将多头注意力模块2输出结果与 “查询”矩阵组成跨越连接， 跨越连接后的输出经过归 一化操作， 送入多层感知器MLP3， 多层感知器MLP3输出与归一化输出再次构成第二次跨越 连接， 将第二次跨越连接的输出结果取代反卷积层输出， 然后重复3次该过程得到聚合特征权　利　要　求　书 1/2 页 2 CN 115131245 A 2矩阵； 将聚合特征矩阵送入平均值池化和多层感知器MLP4， 求得通道注 意力权重矩阵， 通道 注意力权重矩阵与聚合特征矩阵相乘得到交叉全局特征聚合模块的输出； 将交叉全局特征 聚合模块的输出结果送入多层感知器MLP 5， 多层感知器MLP 5的输出与 原始的残 缺点云按照 点数并联在一起， 即两个点云融合成一个点云， 再经下采样操作得到粗略点云Pcoarse； 交叉 全局特征聚合模块1的输出还作为送往点云精细化模块的交叉全局特征聚合模块2做前置 模块输入； 所述的点云精细化模块， 将得到的粗略点云和得到的残缺点云特征向量分别送入多层 感知器， 两个多层感知器的输出并联， 并联后的输出和交叉全局特征聚合模块 1输出一起送 入交叉全局特征聚合模块2中， 交叉全局特征聚合模块2与交叉全局特征聚合模块1的结构 完全相同， 其输出再与粗略点云的多层感知器输出结果并联后， 送入多层感知器MLP6进行 特征融合， 多层感知器MLP 6特征融合后的输出与粗略点云构成跨层连接， 输出精细点云， 点 云精细化模块2的结构与点云精细化模块1结构完全相同。 5.如权利要求1所述的一种基于注意力机制的点云补全方法， 其特 征在于： 所述的生成点云的质量评估， 采用倒角距离来计算生成点云和真实点云之间的差异， 为损失函数指导更新训练阶段编码器和解码器中的神经网络参数， 直到达到最大训练轮 次； 损失函数的计算公式如下： L＝dCD(Pcoarse,GTcoarse)+dCD(Pmid,GTmid)+dCD(Pout,GTout) 其中Pcoarse、 Pmid和Pout分别对应生成的粗略点云和两个精细点云， GTcoarse、 GTmid和GTout 为数据集中真实点云 分别按照与生成点云相同点数降采样的结果； 倒角距离的计算公式如下： 其中P和Q代 表两个点云， p和q分别是P点云和Q 点云中的点。权　利　要　求　书 2/2 页 3 CN 115131245 A 3