(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211176040.2 (22)申请日 2022.09.26 (71)申请人 四川封面传媒科技有限责任公司 地址 610020 四川省成 都市锦江区红星路 二段70号1幢传媒大厦8楼 (72)发明人 吴方印　徐桢虎　高登科　苏忠莹　 雷小炫　 (74)专利代理 机构 成都虹桥专利事务所(普通 合伙) 51124 专利代理师 吴中伟 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06F 3/01(2006.01) (54)发明名称 基于多技术融合的手势交 互方法 (57)摘要 本发明涉及图像处理技术领域， 为了提高用 户使用体验感， 提供了一种基于多技术融合的手 势交互方法， 包括： 动态手势预录阶段及动态手 势识别阶段。 通过引入人脸识别技术， 单独为每 一个操作人训练其动态手势分类模 型， 可在使用 轻量化算法和模 型的情况下， 保证动作分类的准 确性， 同时满足实时的动态手势分类要求； 通过 人体识别技术的引入， 可以在复杂的应用环境 下， 如有手部检测发生丢失， 可自动恢复主操作 人的锁定； 通过对动态手势特征提取过程的设 计， 在保证动作分类精度不变的， 大大减少使用 者对某种动态手势的预录次数。 权利要求书2页 说明书4页 附图1页 CN 115497166 A 2022.12.20 CN 115497166 A 1.基于多技术融合的手势 交互方法， 其特征在于， 包括： 动态手势预录阶段及动态手势 识别阶段， 所述动态手势预录阶段包括： 步骤11、 对原始视频流数据进行关键帧抽取， 并对抽取的关键帧进行图像预处理， 对预 处理后的图像划定预设区域； 步骤12、 对预设区域进行人体检测， 将检测分数最高且最靠近检测区域中心的个例作 为动作预录主体人， 获得其 边框并进行图像裁 剪； 步骤13、 对裁剪出的人体 图像区域进行脸部及手部定位， 并根据预设大小裁剪出脸部 及手部的图像数据； 步骤14、 对获取的人脸区域进行 人脸识别， 输出 人脸特征， 存入数据库； 步骤15、 对获取的手部区域进行手部3D关键点检测， 根据是否开启预录进行流程选择： 若未开启预录， 则根据当前及过去的3D关键点及其投影的2D关键点位置， 预测出下一帧手 部图像区域并获取， 基于新 获取的手部图像区域循环步骤15； 若开启预录， 则将完整手势对 应的多帧图像的手部 3D关键点特 征加入到数据队列中； 步骤16、 使用高斯混合模型GMM对数据队列进行处理， 得到高斯混合模型参数， 进而将 多帧的手部3D关键点特征转化为Fisher特征； 分别计算出该预录主体人的多种动态手势的 Fisher特征， 利用SVM模型进行分类训练， 得到SVM模型； 将训练好的GMM模型与SVM模型， 联 合该预录主体人的人脸识别特 征存入数据库； 所述动态手势 识别阶段包括： 步骤21、 采用与步骤11相同的方式划定预设区域， 在预设区域 内进行人体检测后， 对主 操作人体进行 人体识别； 步骤22、 对主操作人体对应的手部区域进行手部 3D关键点检测及人脸识别； 步骤23、 根据人脸识别提取到的人脸特征向量， 从数据库召回其所对应的GMM模型与 SVM模型； 步骤24、 对连续帧的手部3D关键点进行特征提取， 并结合预训练好的GMM模型进行 Fisher特征提取， 将生成的Fisher特征通过SVM分类模型进行动作种类分类， 输出分类结 果。 2.根据权利要求1所述的基于多技术融合的手势交互方法， 其特征在于， 所述图像预处 理包括噪音滤波， 自动对比度调节及大小缩放。 3.根据权利要求1所述的基于多技术融合的手势 交互方法， 其特征在于， 所述步骤12中 采用目标检测算法进行人体检测， 所述目标检测算法包括centernet、 ssd或faster ‑rcnn算 法。 4.根据权利要求1所述的基于多技术融合的手势 交互方法， 其特征在于， 所述步骤13通 过2D关键点检测以实现对脸部及手部的定位。 5.根据权利要求1所述的基于多技术融合的手势 交互方法， 其特征在于， 所述步骤15 中 采用hrnet， hourglas s或mediapipe算法进行手部 3D关键点检测。 6.根据权利要求1所述的基于多技术融合的手势交互方法， 其特征在于， 所述步骤15 中， 将手部3D关键点特征加入到数据队列后， 还包括： 对数据队列进行多频率抽样， 形成相 同动作的子序列。 7.根据权利要求6所述的基于多技术融合的手势 交互方法， 其特征在于， 所述步骤15还权　利　要　求　书 1/2 页 2 CN 115497166 A 2包括： 对子序列中的数据进行手工特征提取： 设定手腕处1个关键点， 每根手指4个关键点； 以手腕处作为根节点计算其余关键点相对于手腕处的空间位置， 并根据手掌大小进行数据 归一化； 根据预设的多组不重复的5个关键点， 计算其中两两 关键点的空间向量作为手工特 征； 所述步骤16使用高斯混合模型GMM对手工特征进行处理， 得到高斯混合模型参数， 进而 将多帧的手工特 征转化为Fisher特 征。 8.根据权利要求1 ‑7任意一项所述的基于多技术融合的手势交互方法， 其特征在于， 所 述步骤21在对主操作人体进行 人体识别后， 还 包括缓存其识别特 征向量； 所述步骤22在对主操作人体对应的手部区域进行手部3D关键点检测时， 若未发现手部 关键点或关键点分数低于阈值， 则对下帧的全图进行人体检测， 对其中的所有人体进行识 别提取特征， 并与缓存的主操作人体特征进行匹配以确定主操作人体区域， 进而确定其手 部区域。权　利　要　求　书 2/2 页 3 CN 115497166 A 3