(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211008637.6 (22)申请日 2022.08.22 (71)申请人 深圳市邦康工业机 器人科技有限公 司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南一道013号赋安 科技大楼 A座408-2 (72)发明人 黄辉　 (74)专利代理 机构 深圳市兰锋盛世知识产权代 理有限公司 4 4504 专利代理师 罗炳锋 (51)Int.Cl. G06T 17/20(2006.01) G06T 19/00(2011.01) G06V 10/26(2022.01)G06V 40/10(2022.01) G06T 7/73(2017.01) G06T 7/40(2017.01) (54)发明名称 一种多人在线协同式装备虚拟设计实现方 法及系统 (57)摘要 本发明公开了一种多人在线协同式装备虚 拟设计实现方法， 其包括有如下步骤： 步骤S1， 获 取人物的RGB、 深度和骨架数据流并生成人物3D 模型； 步骤S2， 利用开发工具包标记和追踪真实 环境3D模型； 步骤S3， 利用3D数据建立虚拟装备 场景的模型和地图； 步骤S4， 融合自适应信息熵 与锐化调整改进ORB ‑SLAM2算法， 利用平均滤波 法去除对人体 关节骨架姿势的误判， 并使用多模 态融合方式生成人物交互信息； 步骤S5， 将融合 产生的点云数据利用网络传播协议上传至云端， 利用云端服务模块实现特征点提取匹配、 物体三 维注册跟踪以及人体位姿解算， 并将数据同步传 输到本地用户VR设备上。 本发明基于VR、 AR辅助 设计系统无缝嵌入到作业活动中， 能辅助多人在 线协同完成作业任务。 权利要求书1页 说明书3页 附图1页 CN 115359213 A 2022.11.18 CN 115359213 A 1.一种多人在线协同式装备虚拟设计实现方法， 其特 征在于， 包括有如下步骤： 步骤S1， 获取 人物的RGB、 深度和骨架数据流并生成人物3D模型； 步骤S2， 利用开发工具包标记和追踪真实环境3D模型； 步骤S3， 利用3D数据建立虚拟装备场景的模型和地图； 步骤S4， 融合自适应信息熵与锐化调整改进ORB ‑SLAM2算法， 利用平均滤波法去除对人 体关节骨架姿势的误判， 并使用多模态融合方式生成人物交 互信息； 步骤S5， 将融合产生的点云数据利用网络传播协议上传至云端， 利用云端服务模块实 现特征点提取匹配、 物体三维注册跟踪以及人体位姿解算， 并将数据同步传输到本地用户 VR设备上， 利用所述步骤S3获得的坐标进行投影后生成地图， 利用所述步骤S4中的多模态 交互信息进行融合处 理， 将处理结果输出到VR设备 上， 以实现多人在线协同工作。 2.如权利要求1所述的多人在线协同式装备虚拟设计实现方法， 其特征在于， 所述步骤 S1中， 利用3D摄 像机获取 人物的RGB、 深度和骨架数据流。 3.如权利要求1所述的多人在线协同式装备虚拟设计实现方法， 其特征在于， RGB和深 度数据用于获得整个场景的三维点云表示， 骨架数据用于采取Voronoi分割方式从完整的 3D场景点云中分割和提取人物， 使用密集网格策略对提取的人物3D点云进 行三角剖分 并提 取纹理信息， 进 而获得网格表示， 最终输出3D模型。 4.如权利要求1所述的多人在线协同式装备虚拟设计实现方法， 其特征在于， 所述步骤 S2中， 所述 开发工具包为Vuforia开发工具包。 5.如权利要求4所述的多人在线协同式装备虚拟设计实现方法， 其特征在于， 所述 Vuforia开发工具包基于图像识别技术， 选用计算机图形学中的模板匹配算法来识别 特定 图像， 将确定的 “标识图”提前解析并保存， 并根据这些信息计算出虚拟物体在摄像机中的 坐标， 在当前的图像中查找识别 “标识图”之后， 在“标识图”上叠加显示， 经过实际与模板匹 配的“标识图”识别后， 在预定的三维坐标内重合以完成标定， 确定虚拟模型在世界坐标的 位置， 经过坐标转 化后再确定虚拟世界坐标。 6.如权利要求1所述的多人在线协同式装备虚拟设计实现方法， 其特征在于， 所述步骤 S3中， 使用3DMAX工具渲染模型， 并使用Un ity3D工具建立虚拟场景和交 互逻辑。 7.一种多人在线协同式装备虚拟设计实现系统， 其特征在于， 该系统用于实现权利要 求1‑6任一项所述的方法。权　利　要　求　书 1/1 页 2 CN 115359213 A 2一种多人在线协同式装 备虚拟设计实现方 法及系统 技术领域 [0001]本发明涉及虚拟现实、 增强现实、 人机交互技术领域， 尤其涉及一种多人在线协同 式装备虚拟设计实现方法及系统。 背景技术 [0002]虚拟现实(Virtual  Reality， VR)是一种新型计算机媒体形式， 它向用户展示仿照 真实环境制作的数字化环境， 利用计算机 向用户提供一个完全虚拟的现实。 在这个虚拟的 数字世界中， 人们可以操作虚拟物体， 得到身临其境的感受和 体验。 在VR技术的基础上， AR 技术提供了 真实与虚拟相结合的环境， 在用户视野中除了能够感觉到计算机生成的虚拟信 息之外， 还能完全感知真实环境， 为虚拟场景提供必 要的信息扩展， 弥补了VR技术在 全虚拟 沉浸等方面的不足。 [0003]但是传统的辅助设计， 所提供的信息较为分散、 独立， 具有较弱的层次性和逻辑性 特点， 随着工程装备复杂性的增加， 在维修设计时工作人员需要反 复查阅相关文档， 不仅费 时、 费力， 而且容 易出错。 发明内容 [0004]本发明要解决的技术问题在 于， 针对现有技术的不足， 提供一种基于VR、 AR辅助设 计系统无缝嵌入到作业活动中， 能辅助多 人在线协同完成作业任务的多 人在线协同式装备 虚拟设计实现方法及系统。 [0005]为解决上述 技术问题， 本发明采用如下技 术方案。 [0006]一种多人在线协同式装备虚拟设计实现方法， 其包括有如下步骤： 步骤S1， 获取人 物的RGB、 深度和骨架数据流并生成人物3D模型； 步骤S2， 利用开发工具包标记和追踪真实 环境3D模型； 步骤S3， 利用3D数据建立虚拟装备场景的模型和地图； 步骤S4， 融合自适应信 息熵与锐化调整改进ORB ‑SLAM2算法， 利用平均滤波法去除对人体关节骨架姿势的误判， 并 使用多模态融合方式生成人物交互信息； 步骤S5， 将 融合产生的点云数据利用网络传播协 议上传至云端， 利用云端服务模块实现特征点提取匹配、 物体三维注册跟踪以及人体位姿 解算， 并将数据同步传输到本地用户VR设备上， 利用所述步骤S3获得的坐标进行投影后生 成地图， 利用所述步骤S4中的多模态交互信息进行融合处理， 将处理结果输出到VR设备上， 以实现多人在线协同工作。 [0007]优选地， 所述 步骤S1中， 利用3D摄 像机获取 人物的RGB、 深度和骨架数据流。 [0008]优选地， RGB和深度数据用于获得整个场景的三维点云表示， 骨架数据用于采取 Voronoi分割方式从完整的3D场景点云中分割和提取人物， 使用密集网格策 略对提取的人 物3D点云进行三角剖分并提取纹 理信息， 进 而获得网格表示， 最终输出3D模型。 [0009]优选地， 所述 步骤S2中， 所述 开发工具包为Vuforia开发工具包。 [0010]优选地， 所述Vuforia开发工具包基于图像识别技术， 选用计算机图形学中的模板 匹配算法来识别特定图像， 将确定的 “标识图”提前解析并保存， 并根据这些信息计算出虚说　明　书 1/3 页 3 CN 115359213 A 3