(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210048788.8 (22)申请日 2022.01.17 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 牛毅　赵鑫　马明明　李甫　 石光明　 (74)专利代理 机构 重庆萃智邦成专利代理事务 所(普通合伙) 50231 代理人 许攀 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度自注意力变换网络的步态识别方 法 (57)摘要 本发明属于计算机视觉及视频分析技术领 域， 具体而言， 涉及一种基于深度自注意力变换 网络的步态识别方法， 该方法包括如下步骤： S1， 步态数据的获取及预处理； S2， 基于Transformer 的步态识别网络的构建； S3， 对步态识别网络进 行训练和测试。 该基于Transformer的步态识别 网络包括空间特征提取模块、 时间特征提取模 块、 分类器融合模块。 本发明使用Tran sformer网 络对步态序列的时间特征进行显性建模， 充分提 取步态序列的时间特征； 通过训练多个弱分类器 的方式解决了Transformer网络易过拟合的问 题； 本发明方法的步态识别准确率较高好。 本发 明通过对Transformer网络中Encoder模块 的优 化， 减少了模型的参数量和计算量， 使得本发明 方法的步态 识别速度和准确率较高。 权利要求书1页 说明书10页 附图2页 CN 114429646 A 2022.05.03 CN 114429646 A 1.一种基于深度自注意力变换网络的步态识别方法， 其特征在于， 所述方法包括如下 步骤： S1， 步态数据的获取及预处 理； S2， 基于Transformer的步态 识别网络的构建； S3， 对所述 步态识别网络进行训练和 测试。 2.根据权利要求1所述的基于深度自注意力变换网络的步态识别方法， 其特征在于， 所 述步态数据输入所述基于Transformer的步态识别网络 时的输入维度为N*S*C*H*W， 其中N 表示批的大小， S表示输入步态序列的帧数， C表示步态剪影图像的通道数， H表示步态剪影 图像的高度， W表示 步态剪影图像的宽度。 3.根据权利要求2所述的基于深度自注意力变换网络的步态识别方法， 其特征在于， 所 述步骤S2构建的基于Tr ansformer的步态识别网络包括空间特征提取模块、 时间特征提取 模块、 分类 器融合模块。 4.根据权利要求3所述的基于深度自注意力变换网络的步态识别方法， 其特征在于， 所 述空间特 征提取模块包括局部空间特 征提取部分和整体空间特 征提取部分。 5.根据权利要求4所述的基于深度自注意力变换网络的步态识别方法， 其特征在于， 所 述局部空间特 征提取部分包括输入层和六个卷积层级联组成的特 征提取网络 。 6.根据权利要求5所述的基于深度自注意力变换网络的步态识别方法， 其特征在于， 所 述六个卷积层中的两个卷积层包括 最大池化操作。 7.根据权利要求6所述的基于深度自注意力变换网络的步态识别方法， 其特征在于， 所 述整体空间特 征提取部分包括全局最大池化操作和四个卷积层级联组成的特 征提取网络 。 8.根据权利要求7所述的基于深度自注意力变换网络的步态识别方法， 其特征在于， 所 述四个卷积层中的一个卷积层包括 最大池化操作。 9.根据权利要求8所述的基于深度自注意力变换网络的步态识别方法， 其特征在于， 所 述时间特 征提使模块使用改进的Transformer网络提取步态序列的时间特 征。 10.根据权利要求9所述的基于深度自注意力变换网络的步态识别方法， 其特征在于， 所述基于Transformer的步态 识别网络的损失函数为 三元损失函数。权　利　要　求　书 1/1 页 2 CN 114429646 A 2基于深度自注意力变换网 络的步态识别方 法 技术领域 [0001]本发明属于计算机视觉及视频分析技术领域， 具体而言， 涉及一种基于深度自注 意力变换网络的步态 识别方法， 可用于针对步态的生物信息识别。 背景技术 [0002]步态识别是一种旨在通过人们走路的姿态进行身份识别的生物特征识别技术， 步 态作为一种能够远距离识别的生物特征， 在犯罪预防、 司法鉴定和社会保障等方面有着广 泛的应用前景。 在生物特征识别领域， 基于人脸、 指纹、 衣着等特征 的识别技术已经十分完 善， 而步态识别因其具有无接触和 不易伪装的特点， 在生物特征识别领域有着广泛的应用 前景。 [0003]典型的步态识别主要分为五个阶段： 首先是步态检测， 即对视频每一帧图像中的 行人目标进 行识别和定位； 第二步是步态分割， 根据检测结果将行人与背 景进行分割； 第三 步是步态追踪， 每一帧图像的分割结果组合成一个图像序列； 第四步是特征提取， 提取图像 序列的特征， 方便进行匹配， 这一步是步态识别的关键； 最后一步是步态比对和识别， 将提 取的特征与在数据库中存 储的特征进行比对和识别， 得到最终结果。 [0004]主流的步态识别特征提取主要分为两种， 一种是将输入的步态剪影序列融合成为 单张图像进行识别， 代表方法有步态 能量图， 这种方法没有很好的利用输入序列的时域信 息； 另一种则是将步态序列直接作为输入， 通过对其空间和时间特征 的提取进行进一步的 识别， 但是在这种方法会引入大量的冗余信息， 降低步态 识别的效率和灵活性。 [0005]授权公告号为CN113159007B， 名称为 “一种基于 自适应图卷积的步态情感识别方 法”的专利， 公开的实现步骤包括从步态视频中获取步态数据， 构造网络输入； 构建自适应 图卷积网络； 将获得 的步态数据输入到自适应图卷积网络中， 根据网络提取到的特征进行 步态情感类别的预测。 该自适应图卷积网络主要包括三个依 次连接的自适应图卷积块； 自 适应图卷积块主要依据自适应图的邻接矩阵进行图卷积操作。 自适应图包括以下三部分： 第一， 自然链接， 按 人体物理结构将骨架上关节点相连形成的自然链接； 第二， 全局链接， 是 以脊椎节点为中心， 其他节点与中心节点相连构成的全局链接； 第三， 可训练链接， 是一种 可训练的图结构构造方式， 将其转化为图结构的邻接矩阵形式放入网络中训练。 该方法存 在三点不足之处： 其一， 在提取步态的空间特征时采用的是提取关节点的方式， 这种方式丢 失了大量的空间信息； 其二， 该网络并没有对步态序列的时间特征进行充分的提取； 其三， 该网络最终的目的是通过步态进行情感识别， 但是只能识别提前训练集中存在的情感， 不 能识别出新的情感。 [0006]授权公告号为CN111967358B， 名称 为“一种基于注意力机制的步态识别方法 ”的专 利提出的方法包括以下步骤： 从基准数据集中分割 出训练集和测试集； 通过未嵌入注意力 机制的步态提取模型预训练网络， 以此来使得模型对人体步态有好的适应性； 在 网络中嵌 入时域和空域注意力机制模块， 并加载预训练的网络模型参数； 重新运用数据集训练基于 注意力机制的步态识别特征提取模型， 以此可以获得较好的步态识别结果。 该方法存在两说　明　书 1/10 页 3 CN 114429646 A 3