(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211120406.4 (22)申请日 2022.09.15 (71)申请人 沈阳建筑大学 地址 110168 辽宁省沈阳市 浑南区浑南中 路25号 (72)发明人 许景科　田立新　罗娇娇　潘聪　 刘亚臣　 (74)专利代理 机构 沈阳易通专利事务所 21 116 专利代理师 夏子涵 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于计算机视觉的空间行为智能分析方法 和系统 (57)摘要 本发明公开了一种基于计算机视觉的空间 行为智能分析方法和系统， 该方法包括训练用于 人脸识别的YOLOv5 ‑ArcFace模型和用于人体行 为检测跟踪的YOLOv5 ‑DeppSort ‑SlowFast模型； 为行人建立特征向量和表情特征向量与所属类 别之间对应关系的数据库； 对于当前监控视频利 用模型从视频帧中识别行人的人脸、 表情、 人体 行为动作三者的特征向量 以及其分别对应的所 属类别； 将识别到的特征向量与数据库中对应的 特征向量进行比较， 判断识别结果是否正确； 将 正确的特征向量输入softmax分类器进行潜在性 风险分类； 基于当前监控视频判断是否存在群聚 行为或其他具有潜在性风险的行为。 本发明能够 有效地监测应用环境中存在的潜在性风险并及 时预警， 提高对 行人中存在潜在性风险预判的准 确度。 权利要求书3页 说明书8页 附图2页 CN 115512293 A 2022.12.23 CN 115512293 A 1.一种基于计算机 视觉的空间行为智能分析 方法， 其特 征在于， 包括： S1： 基于数据 集训练用于人脸识别的YOLOv5 ‑ArcFace模型和用于人体行为检测跟踪的 YOLOv5‑DeppSort‑SlowFast模型； S2： 为行人建立人脸特征向量和表情特征向量与其所属类别之间对应关系的数据库， 以及人体行为动作特 征向量与其所属类别之间对应关系的数据库； S3： 对于含有行人的当前监控视频， 利用训练过的YOLOv5 ‑ArcFace模型和YOLOv5 ‑ DeppSort ‑SlowFast模型从视频帧中识别行人的人脸、 表情、 人体行为动作三者的特征向量 以及其分别对应的所属类别， 通过YOLOv5 ‑DeppSort ‑SlowFast模型中的DeepSort跟踪模块 为行人自动分配ID， 进行实时跟踪； S4： 将识别到的行人的人脸特征向量、 表情特征向量和人体行为动作特征向量与数据 库中记录的相同种类的特征向量进行比较， 若两者之间的欧式距离小于设定的阈值， 说明 识别结果 正确， 进入下一 步； S5： 将行人的人脸特征向量、 表情特征向量、 人体行为动作特征向量各自所属类别输入 softmax分类 器中， 进行潜在性 风险分类； S6： 将当前监控视频的画面划分多个子空间， 根据行人与子空间的空间位置关系， 判断 是否存在群聚行为， 若存在则发出群聚预警； 根据画 面中行人的行为动作、 人脸表情和空间 信息， 综合判定其是否存在其他具有潜在性风险的行为， 若存在则发出对应潜在性风险行 为预警， 并标注出潜在性 风险类型。 2.根据权利要求1所述的基于计算机视觉的空间行为智能分析方法， 其特征在于， 所述 步骤S1， 之前还 包括： 获取行人的历史监控视频， 其包 含有行人的人脸、 表情和人体行为动作； 基于历史监控视频的视频帧制作得到训练集。 3.根据权利要求1所述的基于计算机视觉的空间行为智能分析方法， 其特征在于， 所述 的步骤S2， 包括： S2‑1： 从历史监控视频中获取每个行人的以往监控视频， 其中应包含行人的人脸、 表情 和人体行为动作； S2‑2： 通过YOLOv5 ‑ArcFace模型从以往监控视频中提取获得行人的人脸特征向量、 表 情特征向量， 并标注各自对应的所属类别， 然后保存得到数据库； S2‑3： 通过YOLOv5 ‑DeepSort ‑SlowFast模型中的YOLOv5 ‑DeepSort模块对以往监控视 频的视频帧中的行人进行检测跟踪， 并将得到的结果传入YOLOv5 ‑DeepSort ‑SlowFast模型 中的SlowFast行为识别模块进行人体行为动作 识别， 获取人体行为动作特征向量并标注所 属动作类别， 然后保存得到数据库。 4.根据权利要求1所述的基于计算机视觉的空间行为智能分析方法， 其特征在于， 所述 的步骤S3， 包括： S3‑1： 获取当前视频帧的像素矩阵， 采用YOLOv5网络对人体区域和人脸区域进行检测， 获取人体区域和人脸区域的位置坐标； S3‑2： 由训练出的YOLOv5 ‑ArcFace模型对检测 出的人脸区域进行人脸识别， 获得人脸 特征向量及其所属类别、 表情特 征向量以及所属类别； S3‑3： 由训练出的YOLOv5 ‑DeppSort ‑SlowFast模型对YOLOv5网络检测出的行人进行跟权　利　要　求　书 1/3 页 2 CN 115512293 A 2踪， 并为跟踪的行人自动分配ID， 将检测跟踪每一帧人体区域组成的帧序进行人体动作识 别， 获取人体动作特 征向量及其所属类别。 5.根据权利要求1所述的基于计算机视觉的空间行为智能分析方法， 其特征在于， 所述 的步骤S4， 包括： 将行人的人脸特征向量与对应的数据库中记录的人脸特征向量比较， 若两者之间的欧 式距离小于 设定的人脸阈值， 则判断身份匹配成功； 否则， 将行人的人脸特征向量保存在对 应的数据库中； 将行人的表情特征向量与对应的数据库中记录的表情特征向量比较， 若两者间的欧式 距离小于设定的表情阈值， 则判断为识别结果 正确； 将行人的人体行为动作特征向量与对应的数据库中记录的人体行为动作特征向量比 较， 若两者间的欧式距离小于设定的动作阈值， 则判断为识别结果 正确。 6.根据权利要求1所述的基于计算机视觉的空间行为智能分析方法， 其特征在于， 所述 的步骤S5， 包括： softmax实现分类 器的计算表达式如下： 其中， L1代表各个类别的得分值， N代表训练样本数， W代表各个类别的权重向量， b代表 偏置项， x代 表特征向量， y代 表类别； 对于行人的人脸特征向量和表情特征向量的分类， 采用的是基于softmax分类器的改 进后得到的分类 器， 其表达式如下： 其中， L代表各个类别的得分值， N代表训练样本数， θ代表W与x 的夹角， m代表加性角度 边距。 7.根据权利要求1所述的基于计算机视觉的空间行为智能分析方法， 其特征在于， 所述 的步骤S6， 包括： 将当前监控视频的画面划分为多个等大的子空间， 并且设定每个子空间区域允许容纳 的最大人数设置为空间阈值， 通过YOLOv5 ‑DeepSort ‑SlowFast模型中的检测跟踪模块对行 人检测跟踪， 统计每个子空间内的人数， 并与空间阈值进行比较， 若超出空间阈值， 则发出 异常预警； 将潜在性风险分类的结果与多人聚集同一子空间区域且超过该子空间允许承受的最 大人数相结合进行综合判定， 将判定结果分为正常与异常两种类别， 并且异常又分为低等 级异常和高等级异常两类； 对于预警的显示， 将低等级异常通过黄色警告在画面中标记显示， 高等级异常通过红 色警报在画面中标记显示。 8.一种基于计算机 视觉的空间行为智能分析系统， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 115512293 A 3