(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210485007.1 (22)申请日 2022.05.06 (71)申请人 东南大学 地址 211100 江苏省南京市江宁区东 南大 学路2号 (72)发明人 张瑞升　周小舟　宗承龙　薛澄岐　 牛亚峰　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 曹婷 (51)Int.Cl. G06F 3/01(2006.01) G06V 10/22(2022.01) G06V 10/24(2022.01) G06V 10/28(2022.01)G06V 10/44(2022.01) G06V 40/20(2022.01) (54)发明名称 一种基于虚拟现实桌 面手势交 互系统 (57)摘要 本发明公开了一种基于虚拟现实桌面手势 交互系统， 涉及虚拟现实技术领域， 解决了用户 在与虚拟环境交互过程中的交互动作幅度较大 且交互效率不高的技术问题， 其技术方案要点是 缩小用户在与虚拟环境交互过程中的交互动作 幅度， 贴合人体生物力学性能， 降低交互疲 劳， 提 高交互效率； 简化硬件结构， 缩小硬件体积， 确保 硬件系统可随身携带； 桌面手势交互作为独立的 交互系统并不干涉其他手势交互方式(例如空中 手势交互、 虚拟手接触点击交互等)， 具有良好的 技术兼容性。 同时， 基于计算机视觉技术的桌面 手势识别算法通过对桌面图像干扰针对性分类 处理， 大幅提升 手势识别准确率。 权利要求书2页 说明书8页 附图5页 CN 114995634 A 2022.09.02 CN 114995634 A 1.一种基于虚拟现实桌面手势交互系统， 包括硬件系统和软件系统， 所述硬件系统包 括红外激光投射模块和红外图像捕获模块， 其特征在于， 所述软件系统包括识别模块、 校正 模块和交 互模块； 所述红外 激光投射模块 通过红外 激光头对桌 面手势交 互环境进行构建； 所述红外图像捕获模块 通过红外摄 像机镜头对桌面手势交 互图像进行捕获； 所述识别模块 通过桌面手势识别算法对桌 面手势交 互图像进行识别； 所述校正模块识别的桌 面手势交 互图像进行 校正； 所述交互模块根据校正后的桌 面手势交 互图像完成虚拟现实响应。 2.如权利要求1所述的桌面手势交互系统， 其特征在于， 所述硬件系统还包括摄像机前 盖、 CMOS图像传感器、 调整转轴上盖、 摄像机后盖、 壳体后盖、 降压模块、 Type ‑C电源口、 壳体 底盖和壳体前盖， 所述壳体后盖、 所述壳体底盖和所述壳体前盖组成 壳体， 所述红外激光头 设在所述壳体前盖底部， 所述摄像机前盖设在所述壳体前盖顶部， 所述红外摄像机镜头设 在所述摄像机前盖中， 所述摄像机后盖设在所述壳体后盖顶部， 所述摄像机后盖顶部设有 所述调整转轴上盖， 所述CM OS图像传感器设在所述摄像机前盖与所述摄像机后盖之间且与 所述红外摄像机镜头连接， 所述降压模块设在所述壳体前盖和所述壳体后盖之 间且与所述 CMOS图像传感器连接， 所述Type ‑C电源口设在所述壳体底盖上且与所述红外摄像机镜头连 接。 3.如权利要求2所述的桌面手势交互系统， 其特征在于， 所述红外激光头为一字型激光 头， 激光头直径为6m m， 激光头 长度为13m m， 发散角度为120 °， 激光波长为980nm； 所述红外摄 像机镜头的镜头广角为120 °， 镜头滤光片为980nm滤光片。 4.如权利要求3所述的桌面手势交互系统， 其特征在于， 所述识别模块通过桌面手势识 别算法进行桌 面手势识别， 所述 桌面手势识别算法包括： 对所述红外图像捕 获模块捕 获的桌面手势 交互图像进行灰度化和二值化处理， 得到第 一桌面手势交 互图像； 将第一桌面手势交互图像的第 一帧作为背景帧， 通过背景帧去除桌面环境产生的静态 干扰， 得到第二 桌面手势交 互图像； 对第二桌面手势交互图像中的手指特征进行提取， 将手指特征与其余噪点分离开， 消 除动态干扰； 对第二桌面手势交 互图像中的手指轮廓进行提取； 对手指轮廓的手势信 息进行记录， 手势信 息包括手指轮廓数量、 手指轮廓中心点坐标、 手指轮廓面积和当前时间点； 对手势状态进行判断， 完成桌面手势识别， 得到手势识别图像； 其中， 手势状态包括手 指滑移、 手指单击、 手指双击和手指长按。 5.如权利要求4所述的桌面手势交互系统， 其特征在于， 所述校正模块通过桌面图像畸 变校正算法对桌 面手势交 互图像进行 校正， 包括： 对手势识别图像的像素坐标进行坐标转换， 将像素坐标转换为世界坐标， 以消除图像 畸变， 得到校正后的手势 识别图像。 6.如权利要求5所述的桌面手势交互系统， 其特征在于， 所述交互模块通过虚拟现实桌 面手势交互方法完成虚拟现实响应， 所述虚拟现实桌面手势交互方法包括物理射线交互方权　利　要　求　书 1/2 页 2 CN 114995634 A 2法和图形射线交 互方法， 所述物理射线交 互方法包括： 桌面单根手指进行滑 移， 捕获手指滑 移图像； 对手指滑 移图像进行识别和校正， 获取手指滑 移速度； 虚拟现实系统发出物理射线， 物理射线光标默认位于视野中心， 物理射线移动角度跟 随手指移动速度变化而变化； 物理射线与三维物体进行碰撞， 虚拟现实系统自动储存碰撞得到的三维物体碰撞信 息； 其中， 所述 三维物体碰撞信息包括 三维物体名称、 图层和碰撞点世界坐标； 通过三维物体碰撞信息获取交 互事件触发手势； 根据所述交 互事件触发手势触发交 互事件； 所述图形射线交 互方法包括： 桌面单根手指进行滑 移， 捕获手指滑 移图像； 对手指滑 移图像进行识别和校正， 获取手指滑 移速度； 虚拟现实系统发出图形射线， 图形射线光标默认位于视野中心， 图形射线移动角度跟 随手指移动速度变化而变化； 图形射线仅与虚拟现实场景中的UI控件进行碰撞， 虚拟现实系统自动储存碰撞得到的 UI控件碰撞信息； 其中， 所述UI控件碰撞信息包括UI控件名称、 数量和 碰撞点世界坐标； 所 述UI控件包括按钮、 滚动条、 下拉菜单和框 选条； 通过UI控 件碰撞信息获取虚拟现实交 互事件触发手势； 根据所述虚拟现实交 互事件触发手势触发虚拟现实交 互事件。权　利　要　求　书 2/2 页 3 CN 114995634 A 3