(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111632128.6 (22)申请日 2021.12.2 9 (71)申请人 宁波大学 地址 315211 浙江省宁波市江北区风 华路 818号 (72)发明人 李国栋　郭立君　张荣　钱江波　 (74)专利代理 机构 宁波甬致专利代理有限公司 33228 专利代理师 袁波 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) G06V 40/20(2022.01) (54)发明名称 一种基于多模态多时间尺度的步态识别方 法 (57)摘要 本发明涉及一种基于多模态多时间尺度的 步态识别方法， 采用结合行人轮廓图和行人姿态 热图能够 有效降低行人换装对步态识别的影响； 同时采用自注意网络提取所有帧局部步态特征 块序列之间同一序列位置的多时间尺度的局部 特征特征块， 充分挖掘行走序列所有帧之间步态 特征的依赖关系， 进 而提升步态 识别的准确率。 权利要求书2页 说明书7页 附图1页 CN 114529717 A 2022.05.24 CN 114529717 A 1.一种基于多模态多时间尺度的步态 识别方法， 其特 征在于， 包括如下步骤： 步骤1、 采集 步态数据集， 所述 步态数据集包括若干个行 人行走序列的RGB图像； 步骤2、 依次从每帧RGB图像 中获取行人轮廓图和行人姿态热图并裁剪生成相应的轮廓 图序列和姿态热图序列； 步骤3、 构建多模态步态识别模型， 所述多模态步态识别模型包括用于从轮廓图序列和 姿态热图序列中提取轮廓特征图序列和姿态特征图序列的特征提取模块、 用于将 轮廓特征 图序列和姿态特征图序列拼接生成全局步态特征图序列的特征融合模块、 用于对每帧全局 步态特征图进 行水平切分、 池化得到局部步态特征块序列的水平池化模块以及通过自注意 力网络将所有帧局部步态特征块序列之间同一序列位置的局部特征块建立多时间尺度依 赖关系并输出局部步态特 征序列的时间建模 模块； 步骤4、 采集训练样本输入到所述多模态步态识别模型， 并利用损失函数训练所述多模 态步态识别模型， 使得 所述多模态步态 识别模型 得到鲁棒的局部步态特 征； 步骤5、 测试 所述多模态步骤识别模型。 2.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法， 其特征在于， 所 述步骤2中采用背景差分法从每帧RGB图像中获取行人轮廓图， 采用人体姿态估计模型CPM 从每帧RGB图像中获取行人姿态热图； 所述步骤2中裁剪行人轮廓图和行人姿态热图时将行 人处于图像正中的位置， 裁剪处宽度为W， 高度为H的行人轮廓图和行人姿态热图， 组成轮廓 图序列和姿态热图序列。 3.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法， 其特征在于， 所 述特征提取模块包括： 轮廓特征提取器和姿态特征提取器， 所述轮廓特征提取器、 姿态特征 提取器均包括依次连接的第一卷积块、 第二卷积块、 第一Focal_4卷积块、 第二Focal_4卷积 块、 第一Focal_8卷积块、 第二Focal_8卷积块， 所述第一卷积块包括第一基本2D卷积层； 所 述第二卷积块包括第二基本2D卷积层和第一最大池化层； 所述第一Focal_4卷积块包括第 一Focal_4卷积层； 所述第二Focal_4卷积块包括第二Focal_4卷积层和第二最大池化层； 所 述第一Focal_8卷积块包括第一Focal_8卷积层； 所述第二Focal_8卷积块包括第二Focal_8 卷积层； 所述时间建模模块包括若干个自注意力网络， 所述自注意力网络的数量与全局步态特 征图水平切分的数量相等； 所述自注意力网络包含第一多头注意力层、 第二多头注意力层 和时间池化层， 所述第一多头注 意力层和第二多头注意力 层均包括Q全连接层、 K全连接层、 V全连接层和前馈网络全连接层。 4.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法， 其特征在于， 所 述步骤4训练多模态步态 识别模型 具体包括： 步骤401、 采集训练样本， 将训练样本随机分成K个样本组， 每个样本组包 括Pb个行人， 每 个行人包含Kb个行走序列， 其中， 同一个人的Kb个行走序列互为正样本； 不通过人之间的行 走序列互为负 样本； 步骤402、 将样本组Q输入到多模态步态识别模型中， Q∈[1...K],多模态步态识别模型 输出多个行 人的多个局部步态特 征序列； 步骤403、 计算局部步态特 征序列之间对应序列位置的局部步态特 征的欧式距离； 步骤404、 采用损失函数计算样本组中每 个样本的损失值：权　利　要　求　书 1/2 页 2 CN 114529717 A 2Loss＝ReLU( ξ +Dα, β‑Dα, γ) 式中， Dα, β为特征与正样本局部步态特征之间的欧式距离， Dα,γ为特征与负样本局部步 态特征之间的欧式距离， ξ 为超参数， 含义是欧式距离之间的边 缘； 步骤405、 根据计算得到的损失值， 判断Loss是否收敛不变， 若是， 则训练结束； 若否， 采 用反向传播算法更新多模态步态识别模型中模块的参数， 以减小损失， 且Q＝Q+1， Q∈ [1...K]， 返回步骤402。 5.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法， 其特征在于， 所 述步骤5中测试 所述多模态步态 识别模型 具体包括： 步骤501、 从步态数据集中任意获取行人行走序列， 并获取对应的轮廓图序列和姿态热 图序列， 并将轮廓图序列和姿态热图序列输入到多模态步态识别模型中， 输出相应的局部 步态特征序列； 步骤502、 计算输出的局部步态特征序列与步态数据集中所有局部步态特征序列之间 对应序列位置的局部步态特 征之间的欧式距离， 并对欧式距离从小到大进行排序； 步骤503、 若步态数据集中对应欧式距离最小的行人序列与输入的行人序列为同一人， 则识别成功； 否则， 识别失败。权　利　要　求　书 2/2 页 3 CN 114529717 A 3