(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210264954.8 (22)申请日 2022.03.17 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 程章林　武凯　 (74)专利代理 机构 深圳市铭粤知识产权代理有 限公司 4 4304 专利代理师 孙伟峰　刘燚圣 (51)Int.Cl. G06T 17/00(2006.01) G06T 11/20(2006.01) G06T 7/11(2017.01) G06K 9/62(2022.01) G06V 10/762(2022.01)G06V 10/774(2022.01) (54)发明名称 基于增强现实的三维建模方法、 装置、 存储 介质、 设备 (57)摘要 本发明公开了一种基于增强现实的三维建 模方法、 装置、 存储介质、 设备。 三维建模方法包 括： 根据增强现实设备采集到的真实场景图像生 成真实场景点云， 其中所述真实场景图像包含目 标对象的图像； 根据获取到的用户手 绘动作信息 和所述真实场景点云构建目标对象粗糙模型； 根 据所述目标对象粗糙模型从所述真实场景点云 中分割出目标对象点云； 利用所述目标对象点云 调整所述目标对象粗糙模型， 获得目标对象精细 模型。 本方法充分利用场景图像中包含的目标对 象的尺度、 细节信息， 在用户仅仅手绘简单笔画 的情况下， 也能获得高精细度的模型， 降低了学 习成本和提高了使用舒 适度。 权利要求书2页 说明书8页 附图4页 CN 114708382 A 2022.07.05 CN 114708382 A 1.一种基于增强现实的三维建模方法， 其特 征在于， 所述 三维建模方法包括： 根据增强现实设备采集到的真实场景图像生成真实场景点云， 其中所述真实场景图像 包含目标对象的图像； 根据获取到的用户手绘动作信息和所述真实场景点云构建目标对象粗 糙模型； 根据所述目标对象粗 糙模型从所述真实场景点云中分割出目标对象点云； 利用所述目标对象点云调整所述目标对象粗 糙模型， 获得目标对象精细模型。 2.根据权利要求1所述的基于增强现实的三维建模方法， 其特征在于， 所述用户手绘动 作信息包括根据识别到的用户绘制动作实时生成的若干轮廓笔画点和若干轨迹笔画 点， 所 述根据获取到的用户手绘动作信息和所述真实场景点云生成目标对 象粗糙模型的方法包 括： 在生成轮廓笔画点时， 从所述真实场景点云中检索出轮廓匹配点， 将各个所述轮廓笔 画点吸附至所述轮廓匹配点， 以形成轮廓笔画； 在生成轨迹笔画点时， 从所述真实场景点云中检索出轨迹匹配点， 将各个所述轨迹笔 画点吸附至所述轨 迹匹配点， 以形成轨 迹笔画； 根据所述轮廓笔画和所述轨 迹笔画生成目标对象粗 糙模型。 3.根据权利要求2所述的基于增强现实的三维建模方法， 其特征在于， 在生成轮廓笔画 点时， 从所述真实场景点云中检索出轮廓匹配点的方法包括： 从所述真实场景点云中筛选出候选点集， 所述候选点集中的各个点与 所述轮廓笔画点 的距离均小于预定值； 判断所述 候选点集中是否存在边 缘点； 若存在则将与所述轮廓笔画点距离最小的边 缘点作为轮廓匹配点； 若不存在则所述 候选点集中与所述轮廓笔画点距离最小的点作为轮廓匹配点。 4.根据权利要求2所述的基于增强现实的三维建模方法， 其特征在于， 根据所述目标对 象粗糙模型从所述真实场景点云中分割出目标对象点云的方法包括： 根据所述目标对象粗糙模型确定候选空间区域， 所述目标对象处于所述候选空间区域 内； 对所述候选空间区域内 中的点云进行聚类处 理， 形成若干点云簇； 将点云数量大于预定数量的部分所述 点云簇作为 候选点云簇； 计算轨迹笔画与各个所述候选点云簇之间的空间距离， 其中所述空间距离为所述轨迹 笔画的每 个笔画点与候选点云簇最近距离之和； 将空间距离最小的候选点云簇作为目标对象点云。 5.根据权利要求4所述的基于增强现实的三维建模方法， 其特征在于， 利用所述目标对 象点云优化所述目标对象粗 糙模型， 获得目标对象精细模型的方法包括： 预测得到所述目标对象粗 糙模型的模型类型； 按照根据所述模型类型对所述目标对象粗 糙模型进行参数化处 理， 获得初始参数； 根据所述初始参数和所述目标对象点云构建距离目标函数； 采用最小二乘法对所述距离目标函数进行最小化处 理， 获得优化 参数； 根据所述优化 参数构建得到目标对象精细模型。 6.根据权利要求5所述的基于增强现实的三维建模方法， 其特征在于， 所述获取所述目权　利　要　求　书 1/2 页 2 CN 114708382 A 2标对象粗 糙模型的预测模型类型的方法包括： 将形成的轮廓笔画和轨迹笔画分别 输入到预先训练好的预测模型中， 预测得到轮廓笔 画类型和轨 迹笔画类型； 根据所述轮廓笔画类型和轨 迹笔画类型 预测得到目标对象粗 糙模型的模型类型。 7.根据权利要求6所述的基于增强现实的三维建模方法， 其特征在于， 所述三维建模方 法还包括： 根据预测得到的所述轮廓笔画类型对所述轮廓笔画的形状进行优化。 8.一种基于增强现实的三维建模 装置， 其特 征在于， 所述 三维建模 装置包括： 预处理单元， 用于根据增强现实设备采集到的真实场景图像生成真实场景点云， 其中 所述真实场景图像包 含目标对象的图像； 模型构建单元， 用于根据获取到的用户手绘动作信 息和所述真实场景点云构建目标对 象粗糙模型； 点云分割单元， 用于根据所述目标对象粗糙模型从所述真实场景点云中分割出目标对 象点云； 模型优化单元， 用于利用所述目标对象点云调整所述目标对象粗糙模型， 获得目标对 象精细模型。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有基于增强 现实的三维建模程序， 所述基于增强现实的三维建模程序被处理器执行时实现权利要求1 至7任一项所述的基于增强现实的三维建模方法。 10.一种计算机设备， 其特征在于， 所述计算机设备包括计算机可读存储介质、 处理器 和存储在所述计算机可读存储介质中的基于增强现实的三维建模程序， 所述基于增强现实 的三维建模程序被处理器执行时实现权利要求1至7任一项所述的基于增强现实的三维建 模方法。权　利　要　求　书 2/2 页 3 CN 114708382 A 3