(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111662572.2 (22)申请日 2021.12.31 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 王蕴红　张少雄　李安南　 (74)专利代理 机构 北京航智知识产权代理事务 所(普通合伙) 11668 代理人 陈磊　张桢 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于行走视角预测的跨视角步态识别 方法 (57)摘要 本发明属于计算机视觉技术领域， 特别涉及 一种基于 行走视角预测的跨视角步态识别方法。 本发明在 使用深度卷积网络方法的基础上， 添加 视角预测网络， 将样本视角信息作为监督信号来 对步态能量图中的视角信息进行有效建模， 以辅 助进行网络模 型训练， 最终能够提取到具有视角 不变性的步态特征， 从而解决跨视角步态识别问 题中， 视角差异过大导致模型鲁棒性下降的问 题。 权利要求书2页 说明书6页 附图5页 CN 114360058 A 2022.04.15 CN 114360058 A 1.一种基于行 走视角预测的跨视角步态 识别方法， 其特 征在于， 包括如下步骤： S1： 基于卷积神经浅层网络建立视角预测网络， 基于卷积神经深度网络建立特征提取 网络； S2： 获取大量的行 人类步态能量图建立数据集， 并将其分为训练集、 测试集和注 册集； S3： 将训练集中的训练样本输入视角预测网络进行视角预测， 获得训练样本的视角方 向估计向量； S4： 将训练集中的训练样本输入特征提取网络进行步态特征提取， 获得训练样本的步 态特征向量， 并将其与步骤S3中获得的视角方向估计 向量加权求和， 获得具有视角不变性 的步态特征向量和行人身份分类向量； 利用获得的具有视角不变性的步态特征向量和行人 身份分类向量计算网络总损失函数； S5： 重复步骤S3和步骤S4， 当网络总损失函数达 到最小时， 停止训练； S6： 将注册集中的所有注册样本输入训练完毕的视角预测网络和特征提取网络， 获得 所有注册样本的具有视角不变性的步态特 征向量； S7： 将测试集中的任一待测 样本， 输入训练完毕的视角预测网络和特征提取网络， 获得 所述待测样本的具有视角不变性的步态特征向量并将其与步骤S6中获得的所有注册样本 的具有视角不变性的步态特征向量的欧式距离进 行比对， 得到所述待测样本的行人身份识 别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述步骤S2中， 行人类步态能量图为运动 历史图、 步态 熵图、 基于时间保持的步态能量图或者主动能量图。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述 步骤S3具体过程 为： 1)将单通道类步态能量图像训练样本使用双线性插值方法调整尺寸至1 ×224×224； 2)对调整尺寸后的每一个单通道类步态能量图像都通过卷积核池化结构得到对应的 特征， 所述卷积核池化结构依次包括： 第一个二维卷积层， 卷积核为5 ×5， 步长为1， 紧接着 的第一个最大池化层的池化窗口尺 寸为2×2； 第二个二 维卷积层， 卷积核为7 ×7， 步长为1， 紧接着的第二个最大池化层的池化窗口尺寸为2 ×2； 第三个二 维卷积层， 卷积核为7 ×7， 步 长为1， 紧接着的第三个最大池化层的池化窗口尺寸 为2×2； 3)将通过所述卷积核池化结构得到的特征输入全连接层， 输入节点数为32 ×23×23， 输出节点数为4， 得到维度为4的特征并利用Softmax进行归一化运算， 得到一个4维度的视 角方向估计向量。 4.根据权利 要求1或2所述的方法， 其特征在于， 所述步骤S1中， 基于18层深度残差 网络 ResNet‑18建立特 征提取网络 。 5.根据权利要求1或2所述的方法， 其特 征在于， 所述 步骤S4具体过程 为： 1)将单通道类步态能量图像训练样本使用双线性插值方法调整尺寸至1 ×224×224； 2)对调整尺寸后的每一个单通道类步态能量图像都通过卷积核池化残差结构得到4个 维度为512 ×7×7的步态特征向量， 所述卷积核池化残差结构依次包括： 二维卷积层， 卷积 核为7×7， 步长为2， 填充距离为3， 紧接着的最大池化层的池化窗口尺寸为2 ×2； 第一层残 差块； 第二层残差块； 4个平行的第三层残差块； 4个第四层残差块； 3)分别将步骤2)所得到的4个步态特征向量使用所述步骤3中获得的视角估计向量进 行加权求和， 得到维度为512 ×7×7的特征向量y：权　利　要　求　书 1/2 页 2 CN 114360058 A 2y＝v[1]*x1+v[2]*x2+v[3]*x3+v[4]*x4， 其中， v为视角方向估计向量， v[i]， i＝1,2,3,4， 为视角方向估计向量v的第i个维度分 量且为实数， x1、 x2、 x3、 x4分别为 步骤2)中得到的4个步态特 征向量； 4)将所述特征向量y分别输入两个全连接层， 得到维度为N的行人身份分类向量y1和维 度为1024的具有视角不变性的步态特 征向量y2， N表示训练集中的样本身份数量； 5)使用Softmax  Loss对行人身份分类向量y1计算行人身份分类损失l1， 使用三元组损 失Triplet  Loss对具有视角不变性的步态特征向量y2 计算损失l2， 使用Co sine Embedding   Loss对视角方向估计向量v计算损失l3； 6)计算网络总损失函数L ＝l1+l2+l3， 并使用反向传播 算法对整个网络进行参数 更新。权　利　要　求　书 2/2 页 3 CN 114360058 A 3