(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111672786.8 (22)申请日 2021.12.31 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 李志涵　蔡丹平　周祥明　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06K 9/62(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/74(2022.01) (54)发明名称 扶梯行为检测方法、 装置、 终端及计算机可 读存储介质 (57)摘要 本发明提供一种扶梯行为检测方法、 装置、 终端及计算机可读存储介质， 扶梯行为检测方法 通过获取针对扶梯区域采集的监控视频中的当 前视频帧； 对当前视频帧进行目标检测， 确定目 标对象； 对目标对象的行为进行识别， 确定目标 对象的行为类别； 基于目标对象在当前视频帧的 行为类别、 以及在监控视频中当前视频帧之前的 历史视频帧中的行为类别， 确定目标对象是否存 在异常行为。 本申请通过对当前视频帧进行目标 检测， 并对检测得到的目标对象的行为进行识 别， 根据目标对象在当前视频帧中的行为类别和 历史视频帧中的行为类别， 确定目标对象是否存 在异常行为， 进而提高对目标对象的行为的检测 准确率， 便 于保护目标对象的安全。 权利要求书4页 说明书13页 附图6页 CN 114463841 A 2022.05.10 CN 114463841 A 1.一种扶梯行为检测方法， 其特 征在于， 所述方法包括： 获取针对扶梯区域采集的监控视频中的当前视频帧； 对所述当前视频帧进行目标检测， 确定目标对象； 对所述目标对象的行为进行识别， 确定所述目标对象的行为类别； 基于所述目标对象在所述当前视频帧的所述行为类别、 以及在所述监控视频中所述当 前视频帧之前的历史视频帧中的所述行为类别， 确定所述目标对象是否存在异常行为。 2.根据权利要求1所述的扶梯行为检测方法， 其特 征在于， 所述对所述目标对象的行为进行识别， 确定所述目标对象的行为类别， 包括： 对所述目标对象进行姿态识别， 得到所述目标对象的姿态类别； 其中， 所述姿态类别包 括站立、 跌倒、 坐下、 蹲下和攀 爬。 3.根据权利要求2所述的扶梯行为检测方法， 其特 征在于， 所述对所述目标对象的行为进行识别， 确定所述目标对象的行为类别， 还 包括： 响应于所述目标对象的姿态类别为站立， 则对所述目标对象的站立朝向进行识别， 得 到所述目标对象的站立状态。 4.根据权利要求1所述的扶梯行为检测方法， 其特 征在于， 所述基于所述目标对象在所述当前视频帧的所述行为类别、 以及在所述监控视频中所 述当前视频帧之前的历史视频帧中的所述行为类别， 确定所述目标对象是否存在异常行 为， 包括： 计算得到所述当前视频帧中的各所述目标对象与所述当前视频帧之前的历史视频帧 中的各预设目标的相似度； 将所述目标对象与所述预设目标对应的所述相似度与相似度阈值进行比对； 响应于所述目标对象与所述预设目标的所述相似度超过所述相似度阈值， 则确定所述 相似度对应的所述目标对象与所述预设目标 是同一目标； 将所述当前视频帧和所述目标对象在所述当前视频帧中的行为类别更新至所述预设 目标的历史轨 迹， 得到所述目标对象的跟踪轨 迹。 5.根据权利要求 4所述的扶梯行为检测方法， 其特 征在于， 所述基于所述目标对象在所述当前视频帧的所述行为类别、 以及在所述监控视频中所 述当前视频帧之前的历史视频帧中的所述行为类别， 确定所述目标对象是否存在异常行 为， 包括： 响应于所述目标对象与各所述预设目标分别对应的所述相似度均不超过所述相似度 阈值， 则确定所述相似度对应的所述目标对象与所有的所述预设目标均不匹配； 将所述目标对象记为另一预设目标， 并将所述当前视频帧作为所述另一预设目标的第 一视频帧。 6.根据权利要求 4所述的扶梯行为检测方法， 其特 征在于， 所述基于所述目标对象在所述当前视频帧的所述行为类别、 以及在所述监控视频中所 述当前视频帧之前的历史视频帧中的所述行为类别， 确定所述目标对象是否存在异常行 为， 包括： 响应于所述预设目标与各所述目标对象对应的相似度均不超过所述相似度阈值， 则确 定所述相似度对应的所述预设目标与各 所述目标对象均不匹配；权　利　要　求　书 1/4 页 2 CN 114463841 A 2确定所述预设目标在所述当前视频帧中丢失， 并统计连续丢失所述预设目标的视频帧 的帧数。 7.根据权利要求6所述的扶梯行为检测方法， 其特 征在于， 所述基于所述目标对象在所述当前视频帧的所述行为类别、 以及在所述监控视频中所 述当前视频帧之前的历史视频帧中的所述行为类别， 确定所述目标对象是否存在异常行 为， 包括： 响应于连续丢失所述预设目标的视频帧的所述帧数超过预设帧数， 则删除所述预设目 标。 8.根据权利要求 4所述的扶梯行为检测方法， 其特 征在于， 所述基于所述目标对象在所述当前视频帧的所述行为类别、 以及在所述监控视频中所 述当前视频帧之前的历史视频帧中的所述行为类别， 确定所述目标对象是否存在异常行 为， 包括： 判断所述当前视频帧与所述目标对象的第一视频帧之间的时间间隔是否超过预设时 间； 如果所述当前视频帧与所述目标对象的第一视频帧之间的时间间隔超过所述预设时 间， 则基于所述目标对象的跟踪轨 迹确定所述目标对象是否存在异常行为。 9.根据权利要求8所述的扶梯行为检测方法， 其特 征在于， 所述基于所述目标对象的跟踪轨 迹确定所述目标对象是否存在异常行为， 包括： 判断所述跟踪轨迹中所述目标对象处于扶梯区域的视频帧的数量是否超过第一预设 值； 如果所述视频帧的数量超过所述第 一预设值， 则判断所述视频帧中所述目标对象的行 为类别属于预设行为类别的帧数是否超过第二预设值； 其中， 所述第二预设值不大于所述 第一预设值； 如果所述帧数超过 所述第二预设值， 则确定所述目标对象存在异常行为。 10.根据权利要求9所述的扶梯行为检测方法， 其特征在于， 所述扶梯区域包括扶梯上 行区域或扶梯下 行区域； 所述预设行为类别包括反向站立； 所述判断所述跟踪轨迹中所述目标对象处于扶梯区域的视频帧的数量是否超过第一 预设值， 包括： 判断所述跟踪轨迹中所述目标对象仅处于所述扶梯上行区域或仅处于所述扶梯下行 区域的视频帧的数量是否超过第一预设值； 所述如果所述视频帧的数量超过所述第 一预设值， 则判断所述视频帧中所述目标对象 的行为类别属于预设行为类别的帧数 是否超过第二预设值， 包括： 如果所述视频帧的数量超过所述第 一预设值， 则判断所述目标对象仅处于所述扶梯上 行区域或仅处于所述扶梯下行区域的视频帧中所述目标对 象的站立状态属于所述反向站 立的帧数 是否超过第二预设值； 所述如果所述帧数超过 所述第二预设值， 则确定所述目标对象存在异常行为， 包括： 如果所述帧数超过 所述第二预设值， 则确定所述目标对象存在逆行 行为。 11.根据权利要求1 ‑10任一项所述的扶梯行为检测方法， 其特征在于， 所述方法还包 括：权　利　要　求　书 2/4 页 3 CN 114463841 A 3