(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111276839.4 (22)申请日 2021.10.2 9 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 黄世泽　刘晓雯　张肇鑫　宋冠群　 秦晋哲　张兵杰　 (74)专利代理 机构 上海科律专利代理事务所 (特殊普通 合伙) 31290 代理人 叶凤 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/46(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种跳跃式及下蹲式逃票行为识别方法 (57)摘要 本发明提供了一种跳跃式及下蹲式逃票行 为识别方法， 包括获取地铁闸机入口所在位置的 监控视频， 转化成图像帧； 利用人体关键点检测 算法对每一帧图像进行检测， 获得每一帧图像的 人体骨架数据； 利用多目标跟踪算法对连续多帧 图像中的行人进行多目标跟踪， 得到每一个行人 的人体骨架序列； 对人体骨架序列的某一时刻的 骨架数据， 进行特征提取； 搭建单帧行为的检测 模型， 将获得的人体骨架特征输入检测模型， 得 到行人的动作类别； 重复步骤 得到每一个时刻的 动作类别与时间的序列曲线， 依据该曲线检测逃 票行为是否发生。 通过此 发明可以对地铁站内的 跳跃式及下蹲式逃票行为进行识别， 及时捕捉到 乘客的逃票行为并进行制止， 保证地铁秩序和安 全运营。 权利要求书6页 说明书16页 附图5页 CN 114038056 A 2022.02.11 CN 114038056 A 1.一种跳跃式及下蹲式逃票行为识别方法， 其特 征在于， 包括以下步骤： (1)获取地铁闸机入口所在位置的监控视频， 转 化成图像帧； (2)利用人体关键点检测算法对每一帧图像进行检测， 获得每一帧图像的人体骨架数 据； (3)利用多目标跟踪算法对连续多帧图像中的行人进行多目标跟踪， 得到每一个行人 的人体骨架序列； (4)对步骤(3)中人体骨架序列的某一时刻的骨架数据， 进行 特征提取； (5)搭建单帧行为的检测模型， 将步骤(4)获得的人体骨架特征输入检测模型， 得到行 人的动作类别； (6)将步骤(3)中的骨架序列的每一时刻的骨架数据以此重复步骤(4)到(5)， 得到每一 个时刻的动作类别与时间的序列曲线， 依据该曲线检测逃票行为是否发生。 2.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法， 其特征在于， 步骤(2)中 所述的人体关键点检测算法为OpenPose算法， (为已有算法)具体步骤为； (2a)： 第一阶段网络产生一组检测置信度图S1＝ρ1(F)和一组关节仿射场图 其中ρ1和 分别为第一阶段的CNN结构， 之后的每一个阶段的输入都来自前一个阶段的预 测结果和原 始图像特 征F， 产生更精确的预测结果； (2b)： 根据预测置信图得到 离散的候选关节点 集， 其公式如下： 其中， 表示第j类关节点的第m个关节点的位置， j表示关节点类别； (2c)： 定义所有候选关节点的连线集 合， 其公式如下： 其中， 候选关节点 表示第j1类关节点的第m个关节点的位置； 候选关节点 表示第j2类关节点的第n个关节点的位置； 表示候选关节点 和候选关节点 之间是否有线连接， 表示两者有线 连接， 表示两者之间没有连接； (2d)： 单独考虑肢体c所有对应的两个候选关节点j1和j2， 通过匈牙利算法对总亲和 值 最高的图匹配方式最优问题进行求 解， 获得最优匹配， 总亲和度最大的优化问题如下： 其中，权　利　要　求　书 1/6 页 2 CN 114038056 A 2Ec表示亲和值， c表示人类各肢体； Emn表示候选关节点 和候选关节点 之间的亲和度； (2e)： 对多人进行全身姿态估计时， 对K分图分配问题进行求解， 将享有相同身体部分 的链接组装成人体的全身 姿态， 其公式如下： 其中， E表示亲和值， c表示人类各肢体， C表示人类 个数； (2f)： 设置规则对得到的人体骨架数据进行清洗， 其公式如下： 其中， 表示对应人体骨架数据的有效性； 表示第t帧图像中第i个行人的人体姿态 估计结果中关节点置信度大于0.2的关节 点个数； numJ为关节点个数阈值。 3.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法， 其特征在于， 步骤(2)所 述的OpenPose算法使用BOD Y_25人体骨架模型对 人体关键点进 行检测并对肢体进行连接和 分组， 获得 人体骨架数据。 4.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法， 其特征在于， 步骤(3)所 述的多目标跟踪算法为Pose  Flow算法， 具体步骤为： (3a)建立行人候选集， 每个行人在候选集中包括以下属性： 行人检测框位置信息、 行人 检检测框置信度、 关节点 位置信息、 关节点置信度、 行 人编号以及最后出现时刻； (3b)基于人体姿态数据的特 征提取； (3b1)定义行 人之间的检测框交并比IOUbox， 公式如下： 其中， A和B分别为两个行 人检测框所在区域； (3b2)定义行人之间关节点检测框交并比IOUpose_box， 具体计算流程如下： 以关节点为中 心， 构建边长为l的正方形作为该关节点的检测框； 计算两行人对应关节点的关节点检测框 交并比 其中i＝0， 1， …， 24； 对得到的25个关节点检测框交 并比计算 结果， 按照关 节点检测结果的置信度进 行由大到小的排序， 置信度为0的对应的元素直接剔除； 将排序后 的前num个关节点检测框交并比的平均值作为行人C1和行人P1之间关节点检测框交并比 IOUpose_box； (3b3)定义行 人之间的检测框特 征点交并比ORBbox， 公式如下： 其中，权　利　要　求　书 2/6 页 3 CN 114038056 A 3