(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210680733.9 (22)申请日 2022.06.15 (71)申请人 海信电子科技 （深圳） 有限公司 地址 518054 广东省深圳市南 山区粤海街 道创业路17 77号海信南方大厦9 楼 (72)发明人 何灿　曾杰　郑贵桢　袁毅　 康文雄　刘星言　宋文伟　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 望紫薇 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/10(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种手部定位方法和VR设备 (57)摘要 本发明公开了一种手部定位方法和VR设备， 包括： 获取VR设备的双目相机采集的待处理图 像； 将待处理图像输入至手部检测 网络， 对待处 理图像进行至少一次深度可分离卷积， 提取待处 理图像的初始 手部特征向量； 对初始 手部特征向 量进行卷积， 生成两个不同尺度的初始手部图 像； 将初始手部图像输入至手部关键点估计网 络， 对初始 手部图像进行至少一次深度可分离卷 积， 得到初始手部图像的目标手部特征向量； 对 目标手部特征向量预测得到的手部关键点二维 坐标的热力图进行可微分最大索引操作， 得到手 部关键点的二维坐标； 基于手部关键点的二维坐 标和双目相机内外参数， 确定手部关键点的三维 坐标。 保证 手部定位精度， 提高运行速度。 权利要求书2页 说明书12页 附图11页 CN 115097935 A 2022.09.23 CN 115097935 A 1.一种手部 定位方法， 其特 征在于， 应用于VR设备， 包括： 获取所述VR设备的双目相机采集的待处 理图像； 将所述待处理图像输入至手部检测网络， 对所述待处理图像进行至少一 次深度可分离 卷积， 提取 所述待处 理图像的初始手部特 征向量； 对所述初始手部特 征向量进行 卷积， 生成两个不同尺度的初始手部图像； 将所述初始手部图像输入至手部关键点估计网络， 对所述初始手部图像进行至少一 次 深度可分离卷积， 得到所述初始手部图像的目标手部特 征向量； 对所述目标手部特征向量预测得到的手部关键点二维坐标的热力图进行可微分最大 索引操作， 得到手部关键点的二维坐标； 基于所述手部关键点的二维坐标和所述双目相机 内外参数， 确定手部关键点的三维坐 标。 2.如权利要求1所述的方法， 其特征在于， 所述对所述待处理图像进行至少一 次深度可 分离卷积， 提取 所述待处 理图像的初始手部特 征向量， 包括： 对所述待处 理图像进行常规卷积， 得到第一手部特 征向量； 对所述第一手部特 征向量进行深度可分离卷积， 得到第二手部特 征向量； 融合对所述第 二手部特征向量进行最大池化后的结果， 与对所述第 二手部特征向量进 行深度可分离卷积后的结果， 得到所述待处 理图像的初始手部特 征向量。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述初始手部特征向量进行卷积， 生成两个不同尺度的初始手部图像， 包括： 对所述初始手部特 征向量进行深度可分离卷积， 得到第三手部特 征向量； 对所述第三手部特征向量进行上采样卷积后， 与所述第二手部特征向量融合， 得到第 四手部特 征向量； 对所述第四手部特 征向量进行深度可分离卷积， 得到第五手部特 征向量； 分别对所述第 三手部特征向量和所述第五手部特征向量进行常规卷积， 得到两个不同 尺度的初始手部图像。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述通过所述初始手部图像输入至 手部关键点估计网络， 对所述初始手部图像进行至少一次深度可分离卷积， 得到所述初始 手部图像的目标手部特 征向量， 包括： 将所述通过所述初始手部图像输入至手部关键点估计网络， 对所述初始手部图像进行 常规卷积处 理， 得到第六手部特 征向量； 对所述第六手部特 征向量进行深度可分离卷积处 理， 得到第七手部特 征向量； 对所述第七手部特 征向量进行沙漏处 理， 得到第八手部特 征向量； 对所述第八特 征向量进行深度可分离卷积处 理， 得到目标手部特 征向量。 5.根据权利要求1所述的方法， 其特征在于， 预设数量的所述手部关键点的二维坐标是 应用卡尔曼 滤波算法基于上一帧待处 理图像的手部关键点的二维坐标 预测得到的。 6.根据权利要求1所述的方法， 其特征在于， 在所述得到手部关键点的二维坐标以后， 判断所述待处理图像是否存在畸变， 若是， 则应用畸变系 数对所述手部关键点的二维坐标 进行校正； 所述基于所述手部关键点的二维坐标和所述双目相机内外参数确定手部关键点的三权　利　要　求　书 1/2 页 2 CN 115097935 A 2维坐标， 包括： 应用校正后的所述手部关键点的二维坐标和所述双目相机内外参数确定手部关键点 的三维坐标。 7.一种VR设备， 其特征在于， 包括处理器、 存储器以及至少一个外部通信接口， 所述处 理器、 所述存 储器以及所述外 部通信接口均通过总线连接； 所述外部通信接口， 被 配置为接收所述VR设备的双目相机采集的待处 理图像； 所述存储器中存储有计算机程序， 所述处理器被配置为基于所述计算机程序 执行以下 操作： 将所述待处理图像输入至手部检测网络， 对所述待处理图像进行至少一 次深度可分离 卷积， 提取 所述待处 理图像的初始手部特 征向量； 对所述初始手部特 征向量进行 卷积， 生成两个不同尺度的初始手部图像； 将所述初始手部图像输入至手部关键点估计网络， 对所述初始手部图像进行至少一 次 深度可分离卷积， 得到所述初始手部图像的目标手部特 征向量； 对所述目标手部特征向量预测得到的手部关键点二维坐标的热力图进行可微分最大 索引操作， 得到手部关键点的二维坐标； 基于所述手部关键点的二维坐标和所述双目相机 内外参数， 确定手部关键点的三维坐 标。 8.如权利要求7 所述的VR设备， 其特 征在于， 所述处 理器被配置为： 对所述待处 理图像进行常规卷积， 得到第一手部特 征向量； 对所述第一手部特 征向量进行深度可分离卷积， 得到第二手部特 征向量； 融合对所述第 二手部特征向量进行最大池化后的结果， 与对所述第 二手部特征向量进 行深度可分离卷积后的结果， 得到所述待处 理图像的初始手部特 征向量。 9.根据权利要求8所述的VR设备， 其特 征在于， 所述处 理器还被 配置为： 对所述初始手部特 征向量进行深度可分离卷积， 得到第三手部特 征向量 对所述第三手部特征向量进行上采样卷积后， 与所述第二手部特征向量融合， 得到第 四手部特 征向量； 对所述第四手部特 征向量进行深度可分离卷积， 得到第五手部特 征向量； 分别对所述第 三手部特征向量和所述第五手部特征向量进行常规卷积， 得到两个不同 尺度的初始手部图像。 10.根据权利要求7 所述的VR设备， 其特 征在于， 所述处 理器还被 配置为： 将所述通过所述初始手部图像输入至手部关键点估计网络， 对所述初始手部图像进行 常规卷积处 理， 得到第六手部特 征向量； 对所述第六手部特 征向量进行深度可分离卷积处 理， 得到第七手部特 征向量； 对所述第七手部特 征向量进行沙漏处 理， 得到第八手部特 征向量； 对所述第八特 征向量进行深度可分离卷积处 理， 得到目标手部特 征向量。权　利　要　求　书 2/2 页 3 CN 115097935 A 3