(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210547472.3 (22)申请日 2022.05.18 (71)申请人 江苏奥斯汀光电科技股份有限公司 地址 210046 江苏省南京市栖霞区科创路1 号2幢 (72)发明人 翟晓东　汝乐　凌涛　凌婧　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 徐激波 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 40/10(2022.01) G06T 7/66(2017.01) G06T 7/73(2017.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制的图卷积神经网络的动作 识别方法 (57)摘要 本发明公开了基于注意力机制的图卷积神 经网络的动作识别方法， 包括如下步骤： 步骤1， 获取待识别人体动作类型的视频流数据， 由姿态 估计算法得到人体骨骼类型数据， 作为人体骨骼 数据集， 步骤2， 构建协调性注意力模块， 计算人 体运动过程中四肢及躯干所产生的协调性特征， 获取带有协调性特征的重心矩阵， 并添加到人体 骨骼数据集中， 步骤3， 人体骨骼数据集输入到双 流图卷积神经网络中， 输出预测动作。 并且在双 流图卷积神经网络中添加了重要性注 意力模块。 本发明的动作识别模型使得最终的分类准确率 能够得到提升， 使现有的双流自适应图卷积模型 更契合动作识别任务。 权利要求书3页 说明书8页 附图2页 CN 114821804 A 2022.07.29 CN 114821804 A 1.基于注意力机制的图卷积神经网络的动作识别方法， 其特 征在于， 包括如下步骤： 步骤1， 获取待识别人体动作类型的视频流数据， 由姿态估计算法得到人体骨骼类型数 据， 作为人体骨骼数据集， 步骤2， 构建协调性注意力模块， 计算人体运动过程中四肢及躯干所产生的协调性特 征， 获取带有协调性特 征的重心 矩阵， 并添加到人体骨骼数据集中， 步骤3， 人体骨骼数据集输入到双流图卷积神经网络中， 输出 预测动作。 2.根据权利要求1所述基于注意力机制的图卷积神经网络的动作识别方法， 其特征在 于， 步骤2中的协调性注意力模块用于对人体骨骼分区、 重心矩阵计算和协调性矩阵计算， 从而获取 带有协调性特 征的重心 矩阵， 具体包括如下步骤： 步骤2.1， 根据人体的结构将人体骨骼图分成5个区域， 5个区域分别 对应头部、 左臂、 右 臂、 左腿和右腿， 得到 5个区域子图； 步骤2.2， 计算每 个区域的重心点； 使用如下公式计算各区域重心点 坐标： 式中， wx区域重心点的横坐标， xn表示该区域内各个关节点的横 坐标， n表示该区域内关 节点的标号， n ＝1,2,…,n； 另外， 区域重心点y坐标和z坐标的计算方法均 与上式相同； 从而得到的重心 矩阵如下 形式所示： (w1,w2,w3,w4,w5) 步骤2.3， 根据协方差矩阵计算两 两区域之间的协调性； 协方差矩阵计算公式如下： wi、 wj分别表示(w1,w2,w3,w4,w5)， i＝1,2……5， 如下形式所示： 式中cov(·)表示协方差的计算结果， wi和wj表示区域重心点 的坐标， 表示各区域重 心点坐标的平均数； 步骤S2.4， 根据上述公式计算出协调性矩阵， 协调性矩阵的形式如下 所示： 步骤S2.5， 根据 步骤2.4即可得到3组大小为5 ×5协调性矩阵， 分别将这3组协调性矩阵 表示为wx,wy， 和wz， 这3组矩阵即可用来表示身体的协调性特征； 将wx,wy， 和wz压缩成与重心权　利　要　求　书 1/3 页 2 CN 114821804 A 2矩阵维度相同的大小， 这里的压缩方法采用逐列相加的形式进 行， 以第一列为例， 举例具体 说明压缩方法如下 形式所示： w1′＝cov(w1,w1)+cov(w2,w1)+cov(w3,w1)+cov(w4,w1)+cov(w5,w1) 步骤S2.6， 将重心矩阵与压缩后的协调性矩阵相加， 得到带有协调性特征的重心矩阵 其中， 3.根据权利要求1所述基于注意力机制的图卷积神经网络的动作识别方法， 其特征在 于， 在步骤3中的所述双流图卷积神经网络包括重要性注意力模块， 构建带有重要性注意力 模块的双流图卷积神经网络； 包括如下步骤 步骤3.1， 构建自适应图卷积模块， 所述自适应图卷积模块包括依次连接的空间图卷积 层convs、 时间图卷积层convt、 附加的随机丢弃处理Dropout和一个残差连接； 另外， 空间图 卷积层和时间卷积层后面各 连接有一个批标准 化层和一个激活函数层； 步骤3.2， 搭建带有重要性注意力模块的自适应图卷积模块， 包括依次连接的空间图卷 积层convs、 重要性注意力模块、 时间图卷积层convt、 重要性注意力模块、 附加的随机丢弃 处理Dropout和一个残差连接； 另外， 两个重要性注意力模块后面各连接有一个批标准化层 和一个激活函数层； 步骤3.3， 构建J流模块和B流模块 J流模块和B流模块结构相同， 分别包括数据BN层、 9个自适应图卷积模块和1个带有重 要性注意力模块的自适应图卷积模块， 数据BN层分别添加在10个自适应图卷积模块前， 以 标准化输入数据； 步骤3.4， 搭建带有重要性注意力模块的双流图卷积神经网络 带有重要性注意力模块的双流图卷积神经网络包括J流模块、 B流模块， 重要性注意力 模块和两个SoftMax层； 将带有协调 性特征的人体骨骼数据集输入到所述双流图卷积神经 网络中， 先对 人体骨骼数据集进 行处理， 生成关节数据和骨骼数据， 分别输入至J流模块和B 流模块， 结束后再执行全局平均池化层以将不同样本的特征映射池化为相同大小， 再分别 经过重要性注 意力模块后到达两个SoftMax层， 得到两个流的分类得分， 再将 两个分数相加 得到融合的分数并预测动作标签。 4.根据权利要求3所述基于注意力机制的图卷积神经网络的动作识别方法， 其特征在 于， 重要性注意力模块包括两个卷积层和一个Softmax层， 具体数据处 理过程如下： 步骤3 .1 .1 ， 将特征图 A送进两个卷 积层中 得到两个新的 特征图 B 和C ， 其中N×M是批大小与人物数量的乘积， C表示通道 数， T表示动作帧数， V 表示关节点数； 步骤3.1.2， 将特征图B和C重组成 其中D＝(N ×M)×T×V， 表示每个通道上特征点权　利　要　求　书 2/3 页 3 CN 114821804 A 3