(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221046149 2.9 (22)申请日 2022.04.28 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 昝鑫　林思源　庞赞辽　王沁晨　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 范巍 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多尺度残差图卷积网络的人体骨骼行 为识别方法及系统 (57)摘要 本发明公开了一种基于多尺度残差图卷积 网络的人体骨骼行为识别方法及系统， 本发明涉 及图像识别技术领域， 将Res2Net残差 结构与ST‑ GCN图卷积网络相结合， 并通过对输入数据的进 一步处理形成多流网络结构。 在每一层卷积中通 过对特征图的拆 分、 残差连接扩 大了节点的感受 野， 加强了远距离节点在空间、 时间上的联系， 能 够在不大量增加网络参数的情况下有效提升网 络的识别准确度。 另一方面， 通过引入多流结构， 进一步增强了空间上的信息提取能力， 提高了基 于骨骼关节点的行为识别方法的识别率和鲁棒 性。 权利要求书2页 说明书7页 附图3页 CN 114743273 A 2022.07.12 CN 114743273 A 1.一种基于多尺度残差图卷积网络的人体骨骼行为识别方法， 其特征在于， 包括以下 步骤： 步骤1、 根据获取多种类型的骨骼序列数据构建人体行为数据集； 步骤2、 构建多尺度残差图卷积网络， 包括多路图卷积网络， 多路图卷积网络的输出连 接加权融合模块， 加权融合模块连接全连接层； 所述图卷积网络， 用于根据输入的骨骼序列数据输出 特征向量； 所述加权融合模块， 用于对各路图卷积网络的输出的特 征向量进行加权融合； 所述全连接层， 用于根据加权融合输出分类结果； 步骤3、 根据步骤1构建的人体行为数据集对步骤2的多尺度残差图卷积网络进行训练， 根据训练后的多尺度残差图卷积网络进行 人体动作识别。 2.根据权利要求1所述的一种基于多尺度残差图卷积网络的人体骨骼行为识别方法， 其特征在于， 步骤1中所述骨骼序列数据包括骨骼关节点的一阶坐标信息、 相 邻帧之间关节 点运动信息和骨骼边的二阶信息 。 3.根据权利要求1所述的一种基于多尺度残差图卷积网络的人体骨骼行为识别方法， 其特征在于， 步骤1中构建人体行为数据集的方法如下： 采用姿态估计算法提取 人体行为视频 数据集中每一帧的骨骼关节点的一阶坐标信息； 将骨骼关节点的一阶坐标信息扩展至相邻帧之间关节点运动信息和骨骼边的二阶信 息； 根据骨骼关节点的一阶坐标信 息， 以及扩展后的相邻帧之间关节点运动信 息和骨骼边 的二阶信息构建人体行为数据集。 4.根据权利要求1所述的一种基于多尺度残差图卷积网络的人体骨骼行为识别方法， 其特征在于， 步骤2中所述图卷积网络包括依次连接的多个图卷积模块， 部 分图卷积模块连 接有注意力模块； 所述图卷积模块， 用于对输入的骨骼序列数据进行 卷积运算并输出 特征图； 所述注意力模块， 用于对各层图卷积模块输出的特征图进行加权运算， 得到 图卷积网 络的特征向量。 5.根据权利要求4所述的一种基于多尺度残差图卷积网络的人体骨骼行为识别方法， 其特征在于， 步骤3中采用随机梯度下降法训练策略， 选择 交叉熵作为反向传播梯度的损失 函数， 迭代次数至设定次数， 完成多尺度残差图卷积网络训练。 6.根据权利要求5所述的一种基于多尺度残差图卷积网络的人体骨骼行为识别方法， 其特征在于， 所述 步骤3中多尺度残差图卷积网络的训练方法如下： S3.1、 将多种类型的骨骼序列数据分别输入至多路图卷积网络； S3.2、 图卷积网络中的每一层图卷积模块对上一层图卷积模块输入的特征图进行切割 和残差运算， 然后对各层输出 的特征图通过注意力掩膜矩阵进行加权运算， 得到各路图卷 积网络的特 征向量； S3.3、 将三路图卷积网络输出的特征向量输入加权融合模块， 通过加权运算将结果输 入全连接层得到softmax分数， 完成多尺度残差图卷积网络的训练。 7.根据权利要求6所述的一种基于多尺度残差图卷积网络的人体骨骼行为识别方法， 其特征在于， 所述图卷积模块输出 特征图的方法如下：权　利　要　求　书 1/2 页 2 CN 114743273 A 2对该层图卷积模块输入的特征图进行等分切割， 得到s份次级特征图， 将每一份的次级 特征图与上一份的次级特征图的卷积结果进 行残差连接， 随后再通过两次图卷积过程实现 空间维度与时间维度上 的信息提取， 将各部份的次级特征图的卷积结果串联， 得到该层图 卷积模块的特 征图。 8.一种权利要求1 ‑7任一项所述的一种基于多尺度残差图卷积网络的人体骨骼行为识 别方法的系统， 其特 征在于， 包括， 数据集模块， 用于根据获取多种类型的骨骼序列数据构建人体行为数据集； 多尺度残差图卷积网络模块， 用于构建多尺度残差图卷积网络， 包括多路图卷积网络， 多路图卷积网络的输出 连接加权融合模块， 加权融合模块连接全连接层； 训练模块， 用于根据人体行为数据集对多尺度残差 图卷积网络进行训练， 根据训练后 的多尺度残差图卷积网络进行 人体动作识别。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 7任一项所述基于多尺度残差图卷积网络的人体骨骼行为识别方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述基于多尺度 残差图卷 积网络的人体骨骼行为识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114743273 A 3