(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210591125.0 (22)申请日 2022.05.27 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 闫丹凤　蔡院强　傅威　陈梦实　 曾昊楠　郭熙东　赵岳　 (74)专利代理 机构 北京挺立专利事务所(普通 合伙) 11265 专利代理师 高福勇 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/75(2022.01) G06V 40/20(2022.01) (54)发明名称 支持实时监控场景的多人时空域异常行为 定位方法及系统 (57)摘要 本发明公开了一种支持实时监控场景的多 人时空域异常行为定位方法及系统， 方法包括步 骤： 利用采集设备捕获实时监控的视频帧； 分别 对缓存的视频帧进行多目标检测与跟踪以及基 于2D运动建模的行为识别， 得到人物目标框和行 为置信度图； 使用多主体行为匹配算法对每个人 物目标框求出对应的行为置信度， 并选择置信度 最高的行为作为该人的行为； 使用异常风险评估 算法对行为本身包含的风险因素进行评分。 系统 包括模块： 数据接收模块、 数据持久化模块、 异常 行为检测模块和业务处理模块等。 本发明的多人 时空域异常行为定位方法及系统能够并行完成 多目标检测与跟踪和行为识别过程， 以高准确 性、 低时延地完成多人异常行为定位， 极大地提 高了异常检测效率。 权利要求书3页 说明书12页 附图5页 CN 114926781 A 2022.08.19 CN 114926781 A 1.一种支持实时监控场景的多人时空域异常行为定位方法， 其特征在于， 包括以下步 骤： S1： 利用采集设备捕获 实时监控的视频帧； S2： 分别对缓存的视频帧进行多目标检测与跟踪以及基于2D运动建模的行为识别， 得 到人物目标框和行为置信度图； S3： 使用多主体行为匹配算法对每个人物目标框求出对应的行为置信度， 并选择置信 度最高的行为作为该 人的行为； S4： 使用异常风险评估算法对行为本身包 含的风险因素进行评分。 2.根据权利要求1所述的支持实时监控场景的多人时空域异常行为定位方法， 其特征 在于， 步骤S2中多目标检测与跟踪算法分别选择YOLOv5和DeepSort， YOLOv5用于检测出最 新视频帧中出现的所有人员的目标框， 包括左 上角横纵坐标和 宽高， DeepSort用于对检测 到的目标框进行 人员轨迹关联， 并赋以轨 迹ID。 3.根据权利要求1所述的支持实时监控场景的多人时空域异常行为定位方法， 其特征 在于， 基于2D运动建模的行为识别算法网络结构包括骨架网络、 运动建模模块和预测模块， 行为识别算法流 程为： S21： 输入： K帧视频片段， 每帧图像尺寸 为3×H×W， 分别表示 通道数、 高和宽； S22： 骨架网络： 选用DLA ‑34网络分别对K帧图像提取基础特征， 得到 的特征图， 其中C1为特 征通道数， R为图像下采样比例； S23： 运动建模模块： 将提取出的K帧特征图送入运动建模模块， 该模块使用1 ×1的1D卷 积先减小通道数以减少运动建模的计算量， 再还原通道数保持前后一致， 并以残差的形式 补充运动建模信息， 连续进行三次运动建模保证得到充分的运动信息； 在每个运动建模单 元中， 先使用3 ×3的2D卷积对下一帧的特征进行移位修正， 然后使用当前帧的特征与移位 后的下一帧特征相减， 最后将结果拼接起来， 补充一个全0的特征图保持时间维度的一致 性； S24： 预测模块： 得到空间特征和运动特征后， 算法通过预测模块对时空信息进行融合 并预测行为置信度； 预测模块首先调换特征图中的时间和通道维度， 然后逐通道地进 行3× 3的2D卷积， 每次卷积都会使用所有帧在3x3范围内的特征值进行运算， 达到融合时空信息 的效果， 最终经 过1×1的卷积得到每 个行为类别的置信度图； S25： 输出： 的行为置信度图， 其中C为行为类别数， H和W分别为视频帧的高和 宽。 4.根据权利要求3所述的支持实时监控场景的多人时空域异常行为定位方法， 其特征 在于， K＝9， H＝24 4， W＝244， C1＝1024， R＝ 4， C＝30。 5.根据权利要求1所述的支持实时监控场景的多人时空域异常行为定位方法， 其特征 在于， 步骤S3中针对每个人物目标框box＝(xleft， ytop， w， h)， 多主体行为匹配算法的流程如 下： S31： 行为识别算法输出 的行为置信度热力图， 经过双线性插值将该图转化 为C×H×W尺寸的热力图， 对于热力图上的点(x， y)而言， 行为类别为c的概 率为P(c， xy)；权　利　要　求　书 1/3 页 2 CN 114926781 A 2S32： 根据公式(2)计算目标框的二维高斯分布在整个热力图上的行为置信度F(box， x， y)， 其中， 然后， 根据公式(3)对 目标框内所有点对应的行为置信度进行归一化得到所有点的置信权重， 对目标框内的点 (x， y)而言， W(box， x， y)即该点的置信权 重； S33： 根据公式(4)， 使用步骤S32生成的置信权重对目标框内所有点的置信度预测值进 行加权计算， 得到目标框对每 个行为类别的综合置信度： S34： 根据公式(5)， 选择置信度最大的行为作为目标框的预测行为： 6.根据权利要求5所述的支持实时监控场景的多人时空域异常行为定位方法， 其特征 在于， 步骤S 31中双线性插值的方法为： 根据近邻像素值将 3×3的蓝色像素扩展为5 ×5的绿 色像素， 即给定四个近邻的蓝色像素值Q11、 Q12、 Q21、 Q22， 使用双线性插值算法求中间的绿色 像素值P。 7.根据权利要求6所述的支持实时监控场景的多人时空域异常行为定位方法， 其特征 在于， 中间的绿色像素值P求解过程为： 根据Q11和Q21的值使用线性插值算法求R1的像素值， 根据Q12和Q22的值使用线性插值算法求R2的像素值， 最后根据R1和R2的值使用线性插值算法 求P的像素值。 8.根据权利要求1所述的支持实时监控场景的多人时空域异常行为定位方法， 其特征 在于， 步骤S4中异常风险评估算法流 程如下： S41： 预先定义行为词典、 风 险行为模板， 行为词典将室内监控场景下的常见行为按照 交互方式划分， 风险行为模板将不同行为划分为 不同风险等级； S42： 针对每个人的行为识别历史结果， 分别进行风险行为模板匹配， 得到每个人的风 险评估结果； S43： 根据风险评估结果进行判定是否发生异常。 9.根据权利要求1所述的支持实时监控场景的多人时空域异常行为定位方法， 其特征 在于， 只对关键帧和 运动帧进行时空域异常行为定位， 并采用多进程实现异步的实时异常 行为定位， 包括以下步骤： S1： 启动视频流读取进程、 结果视频流推送进程、 多目标检测与跟踪进程、 运动轨迹预 测进程、 行为识别进程； S2： 多目标检测与跟踪进程、 运动轨迹预测进程、 行为识别进程进入循环等待； 视频流权　利　要　求　书 2/3 页 3 CN 114926781 A 3