(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210519900.1 (22)申请日 2022.05.12 (71)申请人 北京领为军融科技有限公司 地址 102628 北京市大兴区金 苑路甲15号6 幢8层A818室 (72)发明人 王朋　房洪臣　王华　田策　 何军潮　 (74)专利代理 机构 北京和联顺知识产权代理有 限公司 1 1621 专利代理师 谭建忠 (51)Int.Cl. G06T 19/00(2011.01) G06T 19/20(2011.01) G06T 7/66(2017.01) G06T 7/73(2017.01) (54)发明名称 基于AI识别和混合现实的目标定位方法 (57)摘要 本发明提供了基于AI识别和混合现实的目 标定位方法， 其对用户当前所处周围环境的周围 环境图像进行AI识别分析， 得到目标对象的存在 状态信息， 并确定目标对象在周围环 境图像中的 存在位置； 并根据存在状态信息和目标对象 的对 象类型， 判断目标对象当前在周围环 境的状态正 常与否， 以此生成虚拟显示信息； 最后根据目标 对象的存在位置， 将虚拟显示信息叠加在周围环 境图像中， 形成混合现实图像， 其通过对周围环 境图像存在的目标对象进行识别分析， 并以目标 对象为基准， 将虚拟显示信息准确地叠加到周围 环境图像中， 这样能够根据现实场景的变化有针 对性调整虚拟信息的显示状态， 提高混合现实显 示的视觉感官友 善性。 权利要求书3页 说明书8页 附图1页 CN 114972692 A 2022.08.30 CN 114972692 A 1.基于AI识别和混合现实的目标定位方法， 其特 征在于， 其包括如下步骤： 步骤S1， 指示头戴式设备对用户当前所处周围环境进行拍摄， 得到周围环境图像； 对所 述周围环境图像进行AI识别分析处理， 得到所述周围环境图像中目标对象的存在状态信 息； 步骤S2， 根据所述目标对象的存在状态信息， 确定所述目标对象在所述周围环境图像 中的存在位置； 再对所述目标对象进行类型识别处 理， 确定所述目标对象的对象类型； 步骤S3， 根据所述存在状态信息和所述目标对象的对象类型， 判断所述目标对象当前 在周围环境的状态正常与否； 并根据上述判断结果， 生成虚拟显示信息； 步骤S4， 将所述虚拟显示信息叠加在所述周围环境图像 中， 形成混合现实图像； 并指示 头戴式设备向用户显示所述混合显示图像。 2.如权利要求1所述的基于AI识别和混合现实的目标定位方法， 其特 征在于： 在所述步骤S1中， 指示头戴式设备对用户当前所处周围环境进行拍摄， 得到周围环境 图像具体包括： 指示头戴式设备的双目摄像头对用户当前所处周围环境进行双目拍摄， 得到周围环境 双目图像； 根据所述周围环境双目图像的双目图像视 差， 得到周围环境 三维图像。 3.如权利要求2所述的基于AI识别和混合现实的目标定位方法， 其特 征在于： 在所述步骤S1中， 对所述周围环境图像进行AI识别分析处理， 得到所述周围环境图像 中目标对象的存在状态信息具体包括： 对所述周围环境三维图像进行AI识别分析处理， 得到所述周围环境三维图像 中所有人 和物体各自的三维轮廓特 征信息， 以此作为目标对象的存在状态信息 。 4.如权利要求3所述的基于AI识别和混合现实的目标定位方法， 其特 征在于： 在所述步骤S2中， 根据所述目标对象的存在状态信息， 确定所述目标对象在所述周围 环境图像中的存在位置具体包括： 从所述人或物体的三维轮廓特征信 息提取得到人或物体的三维外周边缘轮廓 边界， 根 据所述三维外周边缘边界， 确定人或物体在所述周围环境三维 图像中的几何中心点； 再确 定所述几何中心点在所述周围环境 三维图像中的位置坐标。 5.如权利要求 4所述的基于AI识别和混合现实的目标定位方法， 其特 征在于： 在所述步骤S2中， 对所述目标对象进行类型识别处理， 确定所述目标对象的对象类型 具体包括： 对所述周围环境三维图像的所有人或物体各自的三维轮廓特征信 息进行识别处理， 确 定每个人的身份信息或每 个物体对应所属的物体种类。 6.如权利要求5所述的基于AI识别和混合现实的目标定位方法， 其特 征在于： 在所述步骤S3中， 根据所述存在状态信息和所述目标对象的对象类型， 判断所述目标 对象当前在周围环境的状态正常与否具体包括： 根据所述周围环境三维图像中所述人或物体各自的三维轮廓特征信 息， 确定每个人或 物体的动作姿态信息； 根据每个人或物体的动作姿态信 息， 和每个人的身份信 息或每个物体对应所属的物体 种类， 判断每 个人或物体当前在周围环境的状态正常与否 。 7.如权利要求6所述的基于AI识别和混合现实的目标定位方法， 其特 征在于：权　利　要　求　书 1/3 页 2 CN 114972692 A 2在所述步骤S3中， 据上述判断结果， 生成虚拟显示信息具体包括： 当判断人或物体当前在周围环境的状态正常时， 生成第一虚拟显示信息； 其中， 所述第 一虚拟显示信 息包括人或物体的身份信 息或每个物体对应所属的物体种 类信息； 当判断人或物体当前在周围环境的状态不正常时， 生成第 二虚拟显示信息； 其中， 所述 第二虚拟显示信息包括人或物体在所述周围环境 三维图像中的位置坐标和动作姿态信息 。 8.如权利要求7 所述的基于AI识别和混合现实的目标定位方法， 其特 征在于： 在所述步骤S4中， 将所述虚拟现实信息叠加在所述周围环境图像中， 形成混合现实图 像； 并指示头戴 式设备向用户显示所述混合显示图像具体包括： 根据每个人或物体在所述周围环境三维图像中的位置坐标， 将第 一虚拟显示信 息或第 二虚拟显示信息叠加在所述周围环境三 维图像对应的人或物体附近， 从而 形成混合现实图 像； 指示头戴 式设备的图像投影 器向用户投影显示所述混合现实图像。 9.如权利要求8所述的基于AI识别和混合现实的目标定位方法， 其特 征在于： 在所述步骤S4中， 指示头戴式设备的图像投影器向用户投影显示所述混合现实图像包 括： 当用户在头 戴式设备的图像投影中正对观看周围环境三维图像中的人或物体时， 控制 第一虚拟显示信息或第二虚拟显示信息根据当前的叠加显示位置进行调整， 使得第一虚拟 显示信息或第二虚拟显示信息能够正对用户， 其具体过程 为： 步骤S401， 由于所述头戴式设备的用户观看所述投影后将所述投影看成二维画面， 所 以所述头戴式设备的用户在所述周围环境三 维图像中的状态为平面状态， 随着用户的仰头 低头左右摆头， 所述用户会在所述周围环境三维图像中观看到变化的二维画面， 并且随着 用户的头部移动在所述用户平面上选取三个在平 面上固定且不共线的坐标点， 用于定位当 前用户平面以及所述用户平面的中心点， 从而定位所述用户观看中心点的位置， 再利用下 面公式(1)， 根据所述用户平面上选取的三个坐标点和所述用户平面的中心点以及人或物 体在所述周围环境三维图像中的几何中心点的位置坐标判断当前用户是否正对观看所述 周围环境 三维图像中的人或物体， 在上述公式(1)中， D(i_t)表示当前时刻所述用户是否正对观看所述周围环境三维图 像中的第i个人或物体的判断值； 表示所述用户平面的中心点坐标与所述周围环境 三维图像中的第i个人或物体的中心点坐标连线的向量； [x0(t),y0(t),z0(t)]表示当前时 刻所述用户平面的中心点坐标； [X(i),Y(i),Z(i)]表示所述周围环境三维图像中的第i个 人或物体的中心点坐标； [ x1(t),y1(t),z1(t)]表示当前时刻所述用户平面上选取的第一个权　利　要　求　书 2/3 页 3 CN 114972692 A 3