(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221072349 9.3 (22)申请日 2022.06.23 (71)申请人 上海数迹智能科技有限公司 地址 201702 上海市青浦区徐民路3 08弄50 号506室 (72)发明人 任彬　葛浩　鄢青山　 (74)专利代理 机构 上海天翔 知识产权代理有限 公司 312 24 专利代理师 陈骏键 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/10(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) (54)发明名称 人体动作识别方法、 装置、 计算机设备和存 储介质 (57)摘要 本发明公开的一种人体动作识别方法， 包 括： 获取视频流； 对获取到的视频流进行离散采 样处理并缓存； 对图像数据进行检测； 对深度图 像数据包进行无监督聚类处理； 提取光流信息； 将光流信息进行时空特征表示处理， 得到时空特 征表示信息； 以及计算类别分数激活结果， 并根 据类别分数激活结果得到当前采样批次的动作 识别分类结果。 还公开了实现上述人体动作识别 方法的装置、 计算机设备和存储介质。 本发明提 高了工程场景适配性能， 降低了光流计算误差扰 动， 提高了动作识别精度。 权利要求书2页 说明书10页 附图3页 CN 115171209 A 2022.10.11 CN 115171209 A 1.一种人体动作识别方法， 其特 征在于， 包括： 从TOF设备模组或TOF视频中获取含有深度图像和近红外图像的视频流； 对获取到的视频流进行离 散采样处 理， 并对离 散采样处 理得到的图像数据进行缓存； 对缓存内的图像数据进行检测， 并将符合检测要求的图像数据进行空间计算处理和数 据打包处 理， 得到场景空间信息、 深度图像数据包和近红外图像数据包； 对所述深度图像数据包进行无监督聚类处理， 得到背景遮罩序列， 并根据背景遮罩序 列分别对所述深度图像数据数据包、 近红外图像数据包进行除背景处理， 得到去除背景 的 深度图像序列和近红外图像序列； 分别对所述深度图像序列、 近红外 图像序列进行时间顺序配对处理， 得到深度图像配 对序列、 近红外图像配对序列， 并将深度图像配对序列和近红外图像配对序列进行拼接后 提取光流信息； 将所述光流信息进行时空特 征表示处 理， 得到时空特 征表示信息； 以及 将所述时空特征表示信 息与场景空间信 息进行拼接后计算类别分数激活结果， 并根据 类别分数激活结果得到当前采样批次的动作识别分类结果。 2.如权利要求1所述的人体动作识别方法， 其特征在于， 所述对获取到的视频流进行离 散采样处 理， 并对离 散采样处 理得到的图像数据进行缓存， 包括： 通过第一图像采集器、 第二图像采集器分别对获取到的视频流进行离散采样处理， 所 述第一图像采样器的采样步长为L1， 所述第二图像采样器的采样步长为L2， L1＞L2且L1、 L2为 整数； 分别对所述第 一图像采集器、 第 二图像采集器所采集到的图像数据进行取均值和方差 处理； 以及 将处理后的图像数据分别存 入第一数据缓存器、 第二数据缓存器进行缓存。 3.如权利要求1所述的人体动作识别方法， 其特征在于， 所述对缓存内的图像数据进行 检测， 并将符合检测要求的图像数据进行空间计算处理和数据打包处理， 得到场景空间信 息、 深度图像数据包和近红外图像数据包， 包括： 判断所述第一数据缓存器内的大小是否大于等于N， N≥2且为整数， 若判断为是， 则从 所述第一数据缓存器内取出N个第一IR ‑D图像数据， 并将所述第一数据缓存器内的大小设 置为0； 判断所述第 二数据缓存器 内的大小是否大于等于(N ‑1)L1/L2， (N‑1)L1/L2为整数， 若判 断为是， 则从所述第二 数据缓存 器内取出(N ‑1)L1/L2个第二IR ‑D图像数据， 并将所述第二 数 据缓存器内的大小设置为0； 获取N个第一IR ‑D图像数据中的IR图像数据， 并对获取到的所有的IR图像数据进行数 据打包处理， 得到IR图像数据包， 再将所述I R图像数据包发送至慢分支网络SS CNN进行空间 计算处理， 得到场景空间信息； 获取(N‑1)L1/L2个第二IR ‑D图像数据中的Depth图像数据， 并对获取到的所有的Depth 图像数据进行 数据打包处 理， 得到深度图像数据包； 以及 获取(N‑1)L1/L2个第二IR ‑D图像数据中的IR图像数据， 并对获取到的所有的IR图像数 据进行数据打包处 理， 得到近红外图像数据包。 4.如权利要求1所述的人体动作识别方法， 其特征在于， 利用K近邻算法对所述深度图权　利　要　求　书 1/2 页 2 CN 115171209 A 2像数据包中的每一张深度图像进行 无监督聚类处 理， 以得到背景遮罩序列。 5.如权利要求1所述的人体动作识别方法， 其特征在于， 所述根据背景遮罩序列分别对 所述深度图像数据数据包、 近红外图像数据包进行除背景处理， 具体为将所述深度图像数 据数据包、 近红外图像数据包分别与所述背景遮罩序列中对应位置序号的mask值相乘， 以 得到去除背景的深度图像序列和近红外图像序列。 6.如权利要求1所述的人体动作识别方法， 其特征在于， 所述分别对所述深度图像序 列、 近红外图像序列进 行时间顺序配对处理， 具体为分别对所述深度图像序列、 近红外图像 序列进行时间顺序上的两 两配对， 以得到深度图像 配对序列、 近红外图像 配对序列。 7.如权利要求1所述的人体动作识别方法， 其特征在于， 通过光流提取器对拼接后的深 度图像配对序列和近红外图像 配对序列进行光 流信息提取处 理， 以得到光 流信息。 8.如权利 要求1所述的人体动作识别方法， 其特征在于， 通过快分支光流网络FOFCNN对 所述光流信息进行时空特 征表示处 理， 以得到时空特 征表示信息 。 9.如权利要求1所述的人体动作识别方法， 其特征在于， 通过特征融合网络FusionMLP 将拼接后的时空特 征表示信息和场景空间信息进行类别分数激活计算处 理。 10.一种人体动作识别方法装置， 其特 征在于， 包括： 视频流获取模块， 所述视频流获取模块用于从TOF设备模组或TOF视频中获取含有深度 图像和近红外图像的视频流； 离散采样处理模块， 所述离散采样处理模块用于对获取到的视频流进行离散采样处 理， 并对离 散采样处 理得到的图像数据进行缓存； 图像检测 处理模块， 所述图像检测 处理模块用于对缓存内的图像数据进行检测， 并将 符合检测要求的图像数据进行空间计算处理和数据打包处理， 得到场景空间信息、 深度图 像数据包和近红外图像数据包； 图像背景处理模块， 所述图像背景处理模块用于对所述深度图像数据包进行无监督 聚 类处理， 得到背景遮罩序列， 并根据背 景遮罩序列分别对所述深度图像数据数据包、 近红外 图像数据包进行除背景处 理， 得到去除背景的深度图像序列和近红外图像序列； 光流信息提取模块， 所述光流信息提取模块用于分别对所述深度图像序列、 近红外 图 像序列进 行时间顺序配对处理， 得到深度图像配对序列、 近红外图像配对序列， 并将深度图 像配对序列和近红外图像 配对序列进行拼接后提取光 流信息； 时空特征表示模块， 所述 时空特征表示模块用于将所述光流信 息进行时空特征表示处 理， 得到时空特 征表示信息； 以及 动作识别分类处理模块， 所述动作识别分类处理模块用于将所述 时空特征表示信 息与 场景空间信息进 行拼接后计算类别分数激活结果， 并根据类别分数激活结果得到当前采样 批次的动作识别分类结果。 11.一种计算机设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现如权利要求 1至9中任一项 所述的人体动作 识别 方法的步骤。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1至9中任一项所述的步骤。权　利　要　求　书 2/2 页 3 CN 115171209 A 3