(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210061043.5 (22)申请日 2022.01.19 (71)申请人 重庆文理学院 地址 402160 重庆市永川区红河大道319号 (72)发明人 李杰　杨文耀　刘晴英　杜西亮　 朱洪　陈伟　周洪林　 (74)专利代理 机构 重庆航图知识产权代理事务 所(普通合伙) 50247 代理人 孙方 (51)Int.Cl. G06V 10/25(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01) G06V 10/26(2022.01) G06T 7/11(2017.01)G06T 7/13(2017.01) G06T 7/136(2017.01) G06T 7/194(2017.01) G06T 7/187(2017.01) G06T 7/66(2017.01) G06T 5/30(2006.01) (54)发明名称 动态手势 识别方法及系统 (57)摘要 本发明公开一种动态手势识别方法及系统， 首先通过硬件控制摄像头采集图像； 然后通过 ROI硬件加速器提取图像中感兴趣区域ROI； 采用 软件方法检测人脸区域中的肤色区域并确定肤 色区域图像； 获取肤色区域图像中的手部图像； 获取手部图像中的皮肤轮廓和质心， 并根据质心 位置标记手势运动轨迹； 最后与手势轨迹模板进 行匹配并根据匹配结果确定手势识别结果。 本方 法采用两个处理器 分别控制图像采集和处理， 进 行了软硬件划分， 且在对手势图像进行肤色检测 之前， 进行了基于人脸检测的ROI提取及尺寸归 一化， 一方面减小了背景区域对后续图像处理的 影响， 另一方面因图像尺寸减小而提高识别速 度， 识别正确率可达90％以上， 识别速度在1秒左 右， 具有较高的可靠性和实用价 值。 权利要求书2页 说明书16页 附图6页 CN 114399632 A 2022.04.26 CN 114399632 A 1.动态手势 识别方法， 其特 征在于： 包括以下步骤： S1： 第二处理器通知第一处理器启动摄像头采集动态手势图像， 并将图像存储到内存 中； S2： ROI硬件加速器从内存中读取原始图像并提取图像中感兴趣区域ROI以及进行尺寸 归一化， 并将归一 化之后的ROI图像存 储到内存中； S3： 第一处 理器从内存中读取ROI图像并根据共享寄存器中配置的参数确定肤色区域； S4： 第一处 理器获取肤色区域图像中的手部图像； S5： 第一处理器获取手部图像中的皮肤轮廓和质心， 并根据质心位置标记手势运动轨 迹； S6： 第一处理器将得到的标记手势运动轨迹与手势轨迹模板进行匹配并根据匹配结果 确定手势 识别结果； S7： 第一处理器将识别结果写入共享寄存器， 第二处理器从共享寄存器读取结果并通 过串口传输 到上位机中。 2.如权利要求1所述的动态手势识别方法， 其特征在于： 所述步骤S2中的感兴趣区域提 取是按照以下步骤进行的： 配置共享寄存器中的归一 化尺寸参数； 启动ROI硬件加速器， 并从内存中读回原 始图像数据； 检测原始图像中的人脸区域， 并计算人脸区域的宽度L； 将人脸区域的边界扩展至预设区域作为ROI区域， 并进行图像截取； 根据共享寄存器中配置的参数对ROI图像进行尺寸归一 化处理； 将归一化后的图像数据存 储到内存中。 3.如权利要求1所述的动态手势识别方法， 其特征在于： 所述共享寄存器的配置包括摄 像头控制寄存器的配置和归一 化寄存器的配置； 所述摄像头控制寄存器的配置用于存 储摄像头采集图像 状态位和控制位； 所述归一 化寄存器的配置用于存 储图像归一 化尺寸的高度位和宽度位。 4.如权利要求1所述的动态手势识别方法， 其特征在于： 所述手势轨迹模板是按照以下 步骤来实现的： 获取预设手势类型的手势图像， 计算手势图像的质心位置， 计算各质心位置在预设区 域的概率， 根据概率确定该类型手势图像的运动轨迹图像， 将该运动轨迹图像作为手势轨 迹模板。 5.如权利要求1所述的动态手势识别方法， 其特征在于： 所述步骤S1中的第 二处理器是 由FPGA逻辑电路构建的软核处 理器， 所述 步骤S2中的硬件加速器采用FPGA逻辑电路构建。 6.如权利要求1所述的动态手势识别方法， 其特征在于： 所述步骤S3中肤色检测采用 HCrCg肤色模 型， 可通过肤色检测判断共享寄存器配置每个通道的阈值范围， 所述肤色检测 判断寄存器包括H通道阈值寄存器、 CR通道阈值寄存器、 CG通道阈值寄存器； 所述H通道阈值寄存器设置有： 第二处理器访问地址； 第一处理器访问地址； H通道阈值 控制位； 所述H通道阈值控制位包括H通道阈值下限配置位和H通道阈值上限配置位； 所述CR通道阈值寄存器设置有： 第二处理器访问地址； 第一处理器访问地址； CR通道阈 值控制位； 所述CR通道阈值控制位包括CR通道阈值下限配置位和CR通道阈值上限配置位；权　利　要　求　书 1/2 页 2 CN 114399632 A 2所述CG通道阈值寄存器设置有： 第二处理器访问地址； 第一处理器访问地址； CG通道阈 值控制位； 所述CG通道阈值控制位包括CG通道阈值下限配置位和CG通道阈值上限配置位。 7.动态手势识别系统， 其特征在于： 包括 图像采集器、 第一处理器、 第二处理器、 ROI硬 件加速器、 共享寄存器和内存； 所述第一处 理器与图像采集器连接， 用于控制图像采集器采集手势图像； 所述图像采集器与内存连接， 用于将采集的图像存 储到内存中； 所述ROI硬件加速器与内存连接， 用于从内存中读取原始图像并进行ROI提取和归一化 处理； 所述共享寄存器与ROI硬件加速器连接， 用于控制ROI硬件加速器； 所述第一处理器与内存连接， 用于获取归一化后的图像感兴趣区域， 并对归一化之后 的图像进行后续 算法处理并写识别结果到共享寄存器中； 所述共享寄存器用于第 一处理器和第 二处理器之间的信 息交互， 两个处理器都可对其 进行访问， 所述共享寄存器中存储的信息包括图像采集器启动信息、 ROI归一化尺寸信息、 HCrCg阈值信息 。 8.如权利要求7所述的动态手势识别系统， 其特征在于： 所述共享寄存器至少包括以下 任意一种寄存器： 摄像头控制寄存器、 归一化配置寄存器、 算法完成寄存器、 LED控制寄存器、 蜂鸣器控制 寄存器、 按键控制寄存器、 串口控制寄存器、 H通道 阈值寄存器、 CR通道 阈值寄存器、 CG通道 阈值寄存器； 所述各个寄存器中至少设置有第二处 理器访问地址； 第一处 理器访问地址 。 9.如权利要求7所述的动态手势识别系统， 其特征在于： 所述第一处理器为FPGA的硬核 Cortex‑A9， 所述第二处 理器为软核ARM  Cortex‑M3； 所述第二处理器通过按键控制系统的开启并通过写共享寄存器通知第一处理器启动 摄像头， 所述第一处理器将采集到的图像数据存储到内存中， 通过写共享寄存器通知第二 处理器启动硬件加速器； 当硬件加速器完成后， 通知第一处理器进 行后续图像处理； 当手势 识别完成， 将识别结果存 储到共享寄存器中， 第二处 理器将识别结果传输 到上位机 。 10.如权利要求7所述的动态手势识别系统， 其特征在于： 所述图像处理按照以下步骤 进行： 检测ROI中的肤色区域并确定肤色区域图像； 获取肤色区域图像中的手部图像； 获取手部图像中的皮肤轮廓和质心， 并根据质心位置标记手势运动轨 迹； 将得到的标记手势运动轨迹与手势轨迹模板进行匹配并根据匹配结果确定手势识别 结果； 其中， 所述手势轨迹模板包括放大类型手势模板、 平移类型手势模板、 缩小类型手势模 板和旋转类型手势模板； 所述放大类型手势模板白色区域 位于右上侧竖向区域， 表示手势沿竖向上 下移动； 所述平移类型手势模板白色区域 位于右下侧横向区域， 表示手势沿横向水平 移动； 所述缩小类型手势模板白色区域 位于下侧横向区域， 表示手势沿水平 移动； 所述旋转类型手势模板白色区域是 呈圆环区域， 表示手势沿圆周运动。权　利　要　求　书 2/2 页 3 CN 114399632 A 3