(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221072385 6.6 (22)申请日 2022.06.24 (71)申请人 河南中光学集团有限公司 地址 473000 河南省南阳市工业 南路508号 (72)发明人 童飞飞　葛晨阳　李辉　杨亚林　 张小娜　王骞　卫倩倩　王辉　 (74)专利代理 机构 北京隆达恒晟知识产权代理 有限公司 1 1899 专利代理师 庄振乾 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G02B 27/01(2006.01) (54)发明名称 一种可手势交 互的AR智能头盔装置 (57)摘要 本发明公开了一种可手势交互的AR智能头 盔装置， 包括AR头盔和手势识别模块； 其中所述 AR头盔由多摄像头模块、 SoC计算板、 双目微显示 屏及光机模块组成， 由多摄像头模块采集手势图 像， 经基于ARM+NP U架构的SoC计算板 上的手势识 别处理， 识别出手势动作控制指令进行功能选 择、 点击、 退出、 换页动作， 并同步在双目微显示 屏及光机模块上显示； 所述手势识别模块， 运行 在SoC计算板上， 对多摄像头模块采集的手势图 像进行手部检测和静态手势识别， 其中手部检测 采用基于RetinaHand的手部检测网络。 与现有 技 术相比， 本发明能实现手势交互识别， 具有延时 短、 手部动作识别准、 支持实时交互的特点， 对于 人与人、 人与机器、 甚至是类人智能机器与机器 之间的沟通交流具有重要意 义。 权利要求书1页 说明书5页 附图2页 CN 115167666 A 2022.10.11 CN 115167666 A 1.一种可手势交互的AR智能头盔装置， 其特征在于： 包括AR头盔和手势识别模块； 其中 所述AR头盔由多摄像头模块、 SoC计算板、 双目微显示屏及光机模块组成， 由多摄像头模块 采集手势图像， 经基于ARM+NPU架构的SoC计算板上的手势识别处理， 识别出手势动作控制 指令进行功能选择、 点击、 退 出、 换页动作， 并同步在 双目微显示屏及光机模块上显示； 所述手势识别 模块， 运行在SoC计算板上， 对多摄像头模块采集的手势图像进行手部检 测和静态手势识别， 其中手部检测采用基于RetinaHand的手部检测网络， 静态手势识别采 用静态手势分类网络处 理。 2.根据权利要求1所述的可手势交互的AR智能头盔装置， 其特征在于： 所述的多摄像头 模块包括一 RGB高清摄像头和一IR探测摄像头， 将RGB高清摄像头和I R探测摄像头采用到的 视频图像通过mipi接口传送给SoC计算板 。 3.根据权利要求1所述的可手势交互的AR智能头盔装置， 其特征在于： 所述的多摄像头 模块， 包括两微光高清摄像头和一IR探测摄像头， 两微光高清摄像头组合起来具有扩展视 场角FoV的功能， 通过mipi接口将上述摄 像头采集的视频图像传送给SoC计算板 。 4.根据权利要求1所述的可手势交互的AR智能头盔装置， 其特征在于： 所述的SoC计算 板具有SoC芯片， 该芯片采取ARM核+NPU核的架构， 通过mipi接口输入多摄像头模块的多路 视频信号， 经ISP处理后进行RGB+IR或两路微光+IR的图像融合处理， 融合的目标是对于不 同光照条件下的目标能更为显性、 便于识别， 其NPU核用于运行目标检测和 手势识别算法； 融合后图像、 目标检测结果、 手势识别 结果通过mipi同步输出给双目微显示屏及光机模块 进行显示。 5.根据权利要求4所述的可手势交互的AR智能头盔装置， 其特征在于： 所述的双目微显 示屏采用OLED微显示屏或LCoS微显示屏； 所述的光机模块为近目光学系统或者光波导衍射 器件， 用于 近目AR增强显示。 6.根据权利要求1所述的可手势交互的AR智能头盔装置， 其特征在于： 所述的手部检测 和静态手势识别主要基于SoC计算板上SoC的NPU核进行运行处理， 基于RetinaHan d的手部 检测网络包括用于特征提取的骨干网络backbone、 特征处理融合模块FPN及回归头部分 head模块， 所述回归头部分head模块用于从经过特征处理融合模块FPN处理后的特征中回 归出目标的具体 类别和坐标信息 。 7.根据权利要求6所述的可手势交互的AR智能头盔装置， 其特征在于： 静态手势识别的 结果将用于控制SoC计算板上功能和菜 单选择、 APP点击、 退出及换页动作， 实现静态手势识 别的静态手势分类网络包括特征提取模块和归一化指数函数， 其中， 所述特征提取模块包 括全连接层、 批量标准化层和非线性激活层； 所述静态手势分类网络的检测出的手部区域， 输出为C维特征， 表示静态手势分别属于C个类别的概率； 所述归一化指数函数将概率归一 化到[0， 1]之间。权　利　要　求　书 1/1 页 2 CN 115167666 A 2一种可手势交互的AR智能头盔装 置 技术领域 [0001]本发明涉及VR/AR和自然交互技术领域， 具体涉及一种可手势交互的AR智能头盔 装置。 背景技术 [0002]手势作为人们与生俱来的一种自然交互方式， 是人与人、 人与机器、 甚至是类人智 能机器与机器之 间沟通交流的重要桥梁， 在许多 领域都存在迫切需求， 如聋哑人 交流、 智能 家居、 机器人、 医疗国防等。 如何获得高精度、 高准确 率的手势识别已成为手势交互研究的 关键。 大视场高沉浸感AR头盔， 作为便携式的大屏幕显示装置， 可满足 “大视场、 高沉浸度、 高分辨率 ”的显示需求， 目前朝多传感集 成、 虚实图像融合、 数字信息叠加等方向发展。 现有 的AR头盔在交互方面一般采用按键、 声控或连接手机交互的方式。 如果AR头盔在交互方面 也能采用手势交互， 那对于人与人、 人与机器、 甚至是类人智能机器与机器之间的沟通交流 具有重要意 义。 发明内容 [0003]为解决上述技术缺陷， 本发明的目的是提供一种可手势交互的AR智能头盔装置， 能实现手势交互识别， 具有延时短、 手部动作 识别准、 支持实时交互的特点， 对于人与人、 人 与机器、 甚至是类人智能机器与机器之间的沟通交流具有重要意 义。 [0004]为达到上述目的， 本发明采取的技术方案是： 一种可手势交互的AR智能头盔装置， 包括AR头盔和手势识别模块； 其中所述AR头盔由多摄像头模块、 SoC计算板、 双目微显示屏 及光机模块组成， 由多摄像头模块采集手势图像， 经基于ARM+NPU架构的SoC计算板上的手 势识别处理， 识别出手势动作控制指 令进行功能选择、 点击、 退出、 换页动作， 并同步在双目 微显示屏及光机模块上显示； 所述手势识别模块， 运行在S oC计算板上， 对多摄像头模块采集的手势图像进行手 部检测和静态手势识别， 其中手部检测采用基于RetinaHand的手部检测网络， 静态手势识 别采用静态手势分类网络处 理。 [0005]进一步地， 所述 的多摄像头模块包括一RGB高清摄像头和一IR探测摄像头， 将RGB 高清摄像头和IR探测摄 像头采用到的视频图像通过mipi接口传送给SoC计算板 。 [0006]所述的多摄像头模块， 包括两微光高清摄像头和一IR探测摄像头， 两微光高清摄 像头组合起来具有扩展视场角FoV的功能， 通过mipi接口将上述摄像头采集的视频图像传 送给SoC计算板 。 [0007]所述的SoC计算板具有SoC芯片， 该芯片采取ARM核+NPU核的架构， 通过mipi接口输 入多摄像头模块的多路视频信号， 经ISP处理后进行RGB+IR或两路微光+IR的图像融合处 理， 融合的目标是对于不同光照条件下的目标能更为显性、 便于识别。 其NPU核用于运行目 标检测和手势识别算法。 融合后图像、 目标检测结果、 手势识别结果通过mipi同步输出给双 目微显示屏及光机模块进行显示。说　明　书 1/5 页 3 CN 115167666 A 3