(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111669207.4 (22)申请日 2021.12.31 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 傅思齐　同磊　段娟　肖创柏　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 沈波 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/75(2022.01) (54)发明名称 基于骨架的移位图卷积网络人体行为识别 方法 (57)摘要 本发明公开了基于骨架的移位图卷积网络 人体行为识别方法， 利用移位图卷积减少了模型 的参数并对模块进行密集残差连接， 具体步骤如 下： 步骤一、 人体骨架提取； 步骤二、 建立网络模 型； 由9层移位图卷积 模块构成， 模块之间利用密 集残差连接相连。 步骤三、 模型学习； 将人体骨架 数据送入构建好的网络模型中开始训练。 经过移 位图卷积模块后输出特征， 最后通过softmax分 类器进行分类。 本发明克服了传统图卷积方法计 算量较大， 模 型参数过多与人体骨骼点之间只考 虑了物理 固有连接， 难以挖掘潜在的连接关系的 缺点， 采用移位图卷积减少了模型参数， 利用人 体骨架各个关节点信息， 在模块间采用密集残差 连接， 提高分类准确率。 权利要求书2页 说明书7页 附图2页 CN 114463840 A 2022.05.10 CN 114463840 A 1.基于骨架的移位图卷积网络人体行为识别方法， 其特征在于： 该方法的实施步骤如 下： 步骤一、 人体骨架提取； (1a)提取图像特 征生成特 征图F； (1b)输入特 征图F获得 人体关节点置信图St和亲和度向量 Lt； (1c)执行二分图匹配关联关节点， 组成人体骨架； 步骤二、 建立网络模型； 网络模型由9层移位图卷积模块构成， 模块之间利用密集残差连接相连； (2a)移位图卷积； (2b)密集残差连接； (2c)可学习边权 重； 步骤三、 模型 学习； 将人体骨架数据送入构建好的网络模型中开始训练； 经过移位图卷积模块后输出特 征， 最后通过softmax分类 器进行分类。 2.根据权利要求1所述的基于骨架的移位图卷积网络人体行为识别方法， 其特征在于： 步骤一中， 人体骨架提取 过程如下： (1a)将整个图像输入到VG G‑19网络中， 生成一组特 征图F； (1b)将特 征图F分别输入到 两个分支用于预测人体关节点的置信图St和亲和度向量 Lt； 特征图F为第一阶段网络的输入， 经过置信分支与亲和度分支， 分别生成一组置信图S1 ＝ρ1(F)和一组亲和度向量L1＝φ1(F)； 每一阶段的输入都来自前一阶段的预测结果和原始 特征图F相加得到的特 征图： ρt和φt表示第t阶段的CNN， St为第t阶段预测的骨 架关节点的置信图， Lt为第t阶段所得 的亲和度向量； 为了指导网络迭代预测骨架关节点的置信度和RAFs， 在每个阶段结束时分别应用两个 损失函数： 是真值图的部分置信图， 是真值图的部分亲和向量场； (1c)执行二分图匹配关联关节点， 组成人体骨架。 3.根据权利要求1所述的基于骨架的移位图卷积网络人体行为识别方法， 其特征在于： 步骤二中， 建立网络模型如下； 基于骨架 的移位图卷积网络人体行为识别方法模型由9层移位图卷积模块组成， 前三 层的输出通道 为64层， 接下去三层的输出通道 为128层， 最后三层输出通道 为256层； 每个移权　利　要　求　书 1/2 页 2 CN 114463840 A 2位图卷积模块由一个移位图卷积和移位卷积组成； 每个移位图卷积块、 移位卷积块和移位 图卷积模块都进行了密集残差连接； 将步骤一中提取 的人体骨架数据作为网络的输入， 通 过9层移位图卷积模块提取骨骼特征， 最后通过全局池化得到每个序列 256维特征向量并送 入分类器中进行分类； (2a)移位图卷积； ResNet通过在3 ×3卷积前后放置两个1 ×1卷积； SqueezeNet将3 ×3和1×1卷积按通道 相加； Xception采用深度分离卷积作为卷积的替代操作， 移位卷积则使用移位操作和逐点 卷积代替卷积 操作； 移位卷积的逻辑表达式为： 移位卷积的卷积核 定义为： 式中im， jm为信道索引， 将 中的一个值设为1， 其 余设为0； 设人体骨架数据存在7个骨骼关节点； 不同的颜色代表不同的节点， 对于节点 υ∈[1， 7] 而言， 表示节点v的邻居节点， 其中n为邻居节点的数量； 对于每个节点 v的特征向量 其中C为通道数， 将通道均匀划分为n+1份区域； 让第一份区域保留本 节点的特征， 剩下的n个分区分别从邻居 中通过平移操作得到特征， 如式7所 示； 式中， 表示单帧特征， 表示移位 图卷积后的对应特征； 时间域上则 采用传统的移位卷积； (2b)密集残差连接； 基于上述移位图卷积模块， 对模块添加残差连接； 对三种类型残差连接进行比对， 即块 连接、 模块连接与密集连接； 块残差连接将 每个卷积块前后的特征相连， 而模块连接则跳过 整个模块进行 特征连接； (2c)可学习边权 重； 在每一层时空移位卷积模块上添加了一个可学习权重， 缩放节点特征对相邻节点的贡 献。 4.根据权利要求1所述的基于骨架的移位图卷积网络人体行为识别方法， 其特征在于： 步骤三的模型学习中， 将步骤一中输出的人体骨架数据作为输入提供给批处理的归一化层 对数据进行归一化； 在每一个移位图卷积后， 设置dr opout概率为0.5以避免过拟合； 第4和7 层卷积步长设置为2作为池化层； 最后对得到的张量进行全局池化， 得到每个序列256维特 征向量， 将其输入到softmax分类器中进行分类； 模型采用随机梯度下降优化算法， 学习 率 设置为0.01， 每10个epoc h对学习率按10％的速率进行衰减。权　利　要　求　书 2/2 页 3 CN 114463840 A 3