(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211060340.4 (22)申请日 2022.08.30 (71)申请人 昆明理工大 学 地址 650093 云南省昆明市呈贡区景明南 路727号 (72)发明人 张智泓　龙佳宁　赖庆辉　何灏　 杨乐　 (74)专利代理 机构 北京隆达恒晟知识产权代理 有限公司 1 1899 专利代理师 李中强 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/50(2017.01) G06T 7/60(2017.01) G06T 17/00(2006.01)G06V 10/75(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于生成对抗网络逆映射的多尺度温 室植物点云补全方法 (57)摘要 本发明提出一种基于生成对抗网络逆映射 的多尺度温室植物点云补全 方法， 属于温室植物 点云补全技术领域， 本发明利用GAN逆映射的思 想， 将输入的残缺温室植物点云映射到预训练 GAN生成器隐空间中， 经过预训练GAN的生成器从 隐空间中获取先验知识， 生成粗略的补全形状， 在利用多层退化机制 、 多阶段损失补全和多尺度 特征匹配损失对生成器进行微调， 使生成器不断 优化， 使生成的温室作物完整 点云即注重整体补 全的效果， 也兼顾细节部分的生成， 明显提高植 物不规则边缘的生成精度。 权利要求书3页 说明书5页 附图4页 CN 115439490 A 2022.12.06 CN 115439490 A 1.一种基于生成对抗网络逆映射的多尺度温室植物点云补全方法， 其特征在于， 所述 方法包括以下步骤： S1、 针对温室作物利用三维扫描仪获取完整点云数据用于构建数据集； S2、 将完整点云数据进行不同程度的切割， 并保存切割后的点云数据作为残缺点云数 据； S3、 预处理数据， 并构建训练数据集、 测试 数据集和验证数据集； S4、 构建基于生成对抗网络逆映射的多尺度温室植物点云补全预训练网络； S5、 将预处理后的点云数据作为基于生成对抗网络逆映射的多尺度温室植物点云补全 预训练网络的输入， 生成含有温室植物点云的语义信息与结构信息的生成器与鉴别器； S6、 构建基于生成对抗网络逆映射的多尺度温室植物点云补全网络； S7、 利用点云补全网络对残缺温室植物点云数据进行补全， 并得到补全结果。 2.根据权利要求1所述的一种基于生成对抗网络逆映射的多尺度温室植物点云补全方 法， 其特征在于： 所述S1， 针对温室作物利用三维扫描仪获取完整点云数据用于构建数据 集， 具体包括： 基于手持三维扫描仪， 通过对温室作物利用三维扫描仪重建三维结构， 获取完整的温 室作物三维结构图， 将扫描获取的三维结构图转换为 点云； 其中， 对所述S2， 将完整点云数据进行不同程度的切割， 并保存切割后的点云数据作为 残缺点云数据具体包括： 将三维扫 描仪获取的完整点云进行不同程度的切割， 对原始完整点云删除25％、 50 ％、 75％， 令其构成M(N， 3)、 M1(N1， 3)、 M2(N2， 3)的残缺点 云数据集。 其中N代表损失25％的残缺 点云的个数， N1代 表损失50％的残缺 点云的个数， N2 代表损失75％的残缺 点云的个数； 其中， 所述S3， 预处 理数据， 并构建训练数据集、 测试 数据集和验证数据集， 具体包括： 将所述残缺数据集与完整数据集中的数据进行预处理， 将所有点云数据的原点都平移 到以圆心为原点， 并将所有数据的值限制在[ ‑1， 1]的范围内； 将所述预处理后的残缺点云 数据集M、 M1、 M2分别与预处理后的完整点云数据集构成三组训练数据集、 测试数据集和验 证数据集， 并将数据集按照 8:2的比例划分为训练集与测试集， 其中验证集的数据与测试集 的数据相同， 将所有数据格式转换为h 5格式文件。 3.根据权利要求1所述的一种基于生成对抗网络逆映射的多尺度温室植物点云补全方 法， 其特征在于： 所述的S4构建基于生成对抗网络逆映射的多尺度温室植物点云补全预训 练网络， 具体包括： 利用图卷积的思想构建树形结构图卷积(TreeGAN)， TreeGAN包含生成器与鉴别器， 生 成器采用完整点云数据， 作为输入， 输出也为完整点云， 对于鉴别器区分真正点云和生 成点 云并优化 生成器产生更接 近真实的点云。 4.根据权利要求1所述的一种基于生成对抗网络逆映射的多尺度温室植物点云补全方 法， 其特征在于： 所述的S5将预处理后的点云数据作为基于生成对抗网络逆映射的多尺度 温室植物点云补全预训练网络的输入， 生成含有温室植物点云的语义信息与结构信息的生 成器与鉴别器， 具体包括： 将一组仅有温室植物的点云数据作为点云补全预训练网络的输入， 使用预训练网络训 练在隐空间中包 含温室植物语义特 征信息与结构特 征信息的GAN(包括 生成器与鉴别器)。权　利　要　求　书 1/3 页 2 CN 115439490 A 25.根据权利要求1所述的一种基于生成对抗网络逆映射的多尺度温室植物点云补全方 法， 其特征在于： 所述的S 6构建基于生 成对抗网络逆映射的多尺度温室植物 点云补全网络， 具体包括： 基于所述通过预训练的GAN生成器， 将残缺点云数据映射到GAN生成器的隐空间中， 使 生成器生成初始完整点云形状； 基于所述生成器生成的初始完整点云形状， 通过迭代最远点采样(iterative   farthest point sampling， IFPS)， 对初始完整点 云形状进行不同分辨率下采样， 获取不同 尺度下能够体现初始完整点云的结构特 征的降采样点云； 多尺度退化机制(Mk ‑mask)同时接收不同尺度下的点云， 并利用退化机制将不同尺度 的点云退化成与所述残缺 点云相似的点云形状； 定义生成网络的总损失函数为多阶段重建损失(Multi ‑stage Completion  Loss)， 衡 量退化后的点云xout与残缺输入xin之间空间中点的靠近 程度， 多尺度特征匹配损失(Multi ‑ scale Feature Distance)， 衡量退化后的点云xout与残缺输入 xin之间特征值的匹配程度。 6.根据权利要求5所述的一种基于生成对抗网络逆映射的多尺度温室植物点云补全方 法， 其特征在于： 所述基于所述通过预训练的GAN生 成器， 将残 缺点云数据映射到GA N生成器 的隐空间中， 使生成器生成初始完整点云形状， 具体包括： 创建一个能够动态微调的生成器， 通过将残缺点云数据映射到GAN生成器的隐空间中， 经过预训练的生成器能够包含丰富的温室植物的语义信息与结构信息， 生成器通过在隐空 间中寻找与残缺输入匹配的潜在向量， 并利用潜在向量使生成器重建初始完整点云形状 xc， 并利用损失函数的反传参数优化 生成器； 其中， 所述基于生成器生成的初始完整点云形状xc， 通过迭代最远点采样(iterative   farthest point sampling， IFPS)， 对初始完整点 云形状进行不同分辨率下采样， 获取不同 尺度下能够体现初始完整点云的结构特 征的降采样点云， 具体包括： 将生成器生成的初始完整点云xc通过迭代最远点采样(iterative  farthest  point  sampling， IFPS)， 将xc进行分别采样为xc1、 xc2、 xc3的点云， 其中xc1的尺度为[2048,3]、 xc2的 尺度为[1024， 3]、 xc3的尺度为[512,3],并将xc1、 xc2、 xc3三种分辨率作为多尺度退化机制的 输入， 这不仅能够同时照顾到高低层次的特征， 还使 退化的部 分既有整体的结构信息， 也兼 顾细节的结构信息； 其中， 所述多尺度退化机制(Mk ‑mask)同时接收不同尺度下的点云， 并利用退化机制将 不同尺度的点云退化成与所述残缺 点云相似的点云形状， 具体包括： 将所述通过迭代最远点采样获取的xc1、 xc2、 xc3三个分辨率的点云输入至多尺度退化机 制， 为了增强 我们退化机制的精准性与 稳定性， 我们对输入残缺点云xin， 利用KNN的思想并 用欧氏距离作为距离度量， 最终使 完整的点云逐渐退化成与残缺输入相似的点云xout1、 xout2 和xout3； 其中， 所述定义生成网络的总损失函数为多阶段重建损失(Multi ‑stage Completion   Loss)， 衡量退化后的点云xout与残缺输入xin之间空间中点的靠近程度， 多尺度特征匹配损 失()， 衡量退化后的点云xout与残缺输入 xin之间特征值的匹配程度， 具体包括： 多阶段重建损失(Multi ‑stage Completion  Loss)， 在多个分辨率下衡量退化后的点 云xout与残缺输入 xin之间空间中点的靠 近程度权　利　要　求　书 2/3 页 3 CN 115439490 A 3