(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211150646.9 (22)申请日 2022.09.21 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 杨晓楠　房浩楠　胡耀光　唐伯良　 毛婉婷　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 邬晓楠 (51)Int.Cl. G06F 30/20(2020.01) G06F 30/15(2020.01) G06T 19/00(2011.01) G06F 111/18(2020.01)G06F 113/28(2020.01) G06F 119/18(2020.01) (54)发明名称 一种基于增强现实技术的手持工装适用性 验证方法及系统 (57)摘要 本发明公开的一种基于增强现实技术的手 持工装适用性验证方法及系统， 属于手持工装领 域。 本发明根据对已有三维实时跟踪注册成果及 实验效果分析， 有针对性地系统构建待识别物评 分指标； 通过自然特征点匹配方法对待识别物进 行识别， 将待检测产品数字模型叠加于验证环 境， 实现手持工装虚拟模型和实体模 型的虚实融 合和同步作业， 基于增强现实技术实现手持工装 适用性验证。 本发明能够提高用户交互性、 降低 生产成本、 提高生产质量、 缩短生产周期。 此外， 在构建手持工装适用性验证环境时， 利用stl模 型压缩处理的方法， 使 得待检测产品数字模型和 手持工装虚拟模型信息在压缩后顶点数目显著 减少， 节省其在AR设备中占用的存储量， 进一步 提高验证效率。 权利要求书5页 说明书13页 附图2页 CN 115481537 A 2022.12.16 CN 115481537 A 1.一种基于增强现实技 术的手持工装适用性验证方法， 其特 征在于： 包括如下步骤： 步骤一、 基于增强现实设备和物理引擎构建手持工装适用性验证环境， 所述手持工装 适用性验证环境包括待检测产品数字模型和手持工装虚拟模型； 在构建手持工装适用性验 证环境时， 利用st l模型压缩处理的方法， 使得待检测产品数字模型和手持工装虚拟模型信 息在压缩后顶点数目大大减少， 缩短待检测产品数字模型和手持工装虚拟模型导入时间， 节省所述待检测产品数字模型和手持工装虚拟模型在AR设备中占用的存 储量； 步骤二、 构建待识别物评分指标， 并选择评分较 高的物体， 通过三维实时跟踪注册模块 中自然特 征点匹配方法， 将待检测产品数字模型叠加于验证环境中； 步骤三、 在验证环境中进行手持工装虚拟模型和人体 手部的虚实融合和同步作业； 步骤四、 对手持工装虚拟模型添加盒式碰撞体属性， 在保证碰撞精确度的同时降低AR 设备的负载； 对手持工装虚拟模型添加盒式碰撞体属性， 呈现长方体状态， 该长方体的长、 宽、 高均 等于整个手 持工装在三个维度上的最大值， 在保证碰撞精确度的同时也能够降低硬件的负 载； 步骤五、 根据待检测产品数字模型和验证环境的特点和精度要求构建待检测产品数字 模型虚拟网格； 若待检测产品数字模型碰撞检测精度需求较低， 采用网格碰撞体拟合待检 测产品数字模型， 采用拆分子模型分别添加碰撞体属 性得到待检测产品数字模型碰撞体， 提高碰撞检测精度； 若待检测产品数字模型碰撞检测精度需求较高， 根据待检测产品数字 模型特点构建待检测产品数字模型虚拟网格点， 基于图形学算法生成拟合待检测产品数字 模型表面的虚拟网格， 在AR设备视觉感知信息基础上融合待检测产品数字模型信息修正网 格点布局信息， 提高对待检测产品数字模型碰撞体的构建精度和感知精度； 步骤六： 采用触发检测方法， 对步骤五得到的待检测产品数字模型的虚拟网格与步骤 四得到的手 持工装虚拟模型盒 式碰撞体进 行碰撞检测， 进而基于增强现实技术实现手持工 装适用性验证。 2.如权利要求1所述的一种基于增强现实技术的手持工装适用性验证方法， 其特征在 于： 步骤一实现方法为， 步骤1.1： 对待检测产品数字模型和手持工装虚拟模型的stl模型进行轻量化处理， 由 于物理引擎不支持直接导入st l格式文件， 为此我们需要将单个的st l格式模型拆 分为多个 物体， 并除去位置相同的顶点， 再将其 导入物理引擎中； 步骤1.1.1： 读取stl模型 所有的顶点信息， 并将这些顶点以一定数目分为多个子网络； 步骤1.1.2： 在各个子 网络里筛选出所有位置相同的顶点设定为同一顶点， 并只储存其 中一个顶点的信息， 以实现模型 轻量化处理； 逐一读取每个模型三角面的顶点信息并建立一个用来储存顶点的数组和一个用来存 储三角面的数组， 之后判断每个面的顶点位置是否相同， 若相同则只储存其中一个顶点的 信息， 不再像顶点数组中添加信息， 但需要在三角面数组中添加重复的三角面； 步骤1.2： 将混合现实工具包MRTK导入物理引擎中实现跨平台的A R应用程序开发， 并通 过MRTK实现对物体的旋转、 抓取、 缩放操作。 3.如权利要求2所述的一种基于增强现实技术的手持工装适用性验证方法， 其特征在 于： 步骤二实现方法为，权　利　要　求　书 1/5 页 2 CN 115481537 A 2步骤2.1： 首先需要修改被识别图片的格式和大小， 其次将图片导入到云平台进行识 别， 导入平台后， 平台对上传的图片打分， 以图像内容丰富度、 对比度、 物理尺寸为评分标 准， 并选取评分在四颗星以上 的图片作为被识别图片； 最后将得到的数据包下载并导入到 物理引擎中， 完成图片识别； 步骤2.2： 服务器对上传图片进行灰度处理， 图片变为黑白图像， 基于自然特征点匹配 方法提取黑白图像特 征点， 步骤2.3： 对待识别物进行识别， 将在物理引擎中预定义数字模型叠加于验证环境， 实 现待检测产品数字模型叠加于验证环境中。 4.如权利要求3所述的一种基于增强现实技术的手持工装适用性验证方法， 其特征在 于： 步骤三中， 根据有无手持工装实体模型， 选择实现方法； 步骤三所述手持工装虚拟模型和人体手 部的虚实融合和同步作业包括如下两种实现方法； 方法一： 当有手持工装实体模型时， 重复步骤二中三维实时跟踪注册模块中自然特征 点匹配方法， 对待识别物进行识别实现手持工装虚拟模型叠加到手持工装实体模型上， 并 实现手持工装虚拟模型和实体模型的虚实融合和同步作业； 方法二： 当没有手持工装虚拟模型时， 根据手持工装实体模型抓握物理过程特点和增 强现实环境构建 “抓握副”条件， 基于 “抓握副”构建抓握意图识别算法， 判断人体手部与手 持工装虚拟模型之 间的抓握情况， 并实现手持工装虚拟模型和人体手部的虚实融合和同步 作业； 所述的“抓握副”由两个接触点组成， 如果存在一个以上的 “抓握副”， 则被抓握虚拟模 型被判定为 抓握状态； 步骤3.1： 采集当前帧人体手部的图像， 基于卷积神经网络双手位姿估计算法确定人体 手部关键节点相对于AR设备 的位置和姿态数据， 在当前帧识别的双手关键节点处， 叠加虚 拟手模型； 所述的虚拟手模型由若干个虚拟关节模型组成， 每个虚拟关节模型是圆柱体， 近似模 拟真实双手的手指关节； 虚拟手关节模型之间存在拓扑关系， 即高层次的虚拟关节模型包 含低层次的虚拟关节模型， 当高层次的虚拟关节模型运动时将带动低层次虚拟关节模型的 运动； 所述的虚拟手模型由以下参数化表示： 权　利　要　求　书 2/5 页 3 CN 115481537 A 3