(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677729.9 (22)申请日 2021.12.31 (71)申请人 北方工业大 学 地址 100144 北京市石景山区晋元庄路5号 (72)发明人 田青　冯赛楠　张正　 (74)专利代理 机构 南京科阔知识产权代理事务 所(普通合伙) 3240 0 专利代理师 苏兴建 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 应用于复杂场景的行为检测系统 (57)摘要 一种应用于复杂场景的行为检测系统， 其结 构为： 网络摄像机通过现场控制箱内的交换机与 箱内的硬盘录像机连接； 5G无线信号收发单元 CPE与交换机连接； 以CPU和GPU为核心的检测模 块与交换机连接； 检测模块对网络摄像机采集到 的视频流采样处理， 把处理结果通过CPE发送到 后台端。 在检测模块中， 采用AI算法对视频流进 行处理和识别， 在AI算法中首先对图像采集装置 获得的视频帧序列， 提取每一帧中人的骨架信 息； 再把这些骨架信息的骨架关节在相应帧的位 置特征经过归一化处理； 最后采用动作骨架识别 网络进行识别， 并分类 输出。 权利要求书1页 说明书3页 附图1页 CN 114495158 A 2022.05.13 CN 114495158 A 1.一种应用于复杂场景的行为检测系统， 包括图像采集装置、 自动识别装置和通信装 置， 其特征是图像采集装置是网络摄像机， 网络摄像机通过现场控制箱内的交换机与箱内 的硬盘录像机连接； 通信装置是5 G无线信号收发单元CP E； CPE与交换机连接； 自动识别装置 是以CPU和GPU为核心的检测模块； 检测模块在控制箱内， 并与交换机连接； 检测模块对网络 摄像机采集到的视频流采样处 理， 把处理结果通过CPE发送到后台端； 在检测模块中， 采用AI 算法对视频流进行处 理和识别， 在AI 算法中： 首先对图像采集装置获得的视频帧序列， 提取每一帧中人的骨架信息； 再把这些骨架信息的骨架关节在相应帧的位置特 征经过归一化处理； 最后采用动作骨架 识别网络进行识别， 并分类输出。 2.根据权利要求1所述的应用于复杂场景的行为检测系统， 其特征是归一化处理是对 于骨架信息序列， 骨架关节在相应 帧下的位置特征进行归一化， 作为动作骨架识别网络的 输入； 在动作骨架识别网络中， 对骨架关节的位置特征在时间和空间维度进行变换； 通过平 均池化和全连接层对动作骨架 识别网络 输出的特 征进行分类输出。 3.根据权利要求2所述的应用于复杂场景的行为检测系统， 其特征是动作骨架识别网 络包括图卷积网络和时间卷积网络； 交替使用图卷积网络和时间卷积网络； 图卷积网络使用空间移位图运算， 建立的轻量级空间移位图卷积模型； 空间移位图卷 积模型的操作包括： a、 先对身体骨架图的节点之间进行移位图操作： 给定一个空间骨架特征映射F∈RN×C第i个通道的移位距离为i  mod N。 移位后的通道用 来填充相应的空 白空间。 对F 的每个节点进行上述移位操作， 移位后， 每个节点都能够从其 他节点获取信息； 其中， N 为关节点数， C为输入特 征维数； b、 再应用逐点卷积进行信道间的信息交换； 利用自适应， 解决骨骼重要性不同的问题； 通过下式， 来体现人体骨骼不同的重要性： 上述公式计算了一个可学习掩码Mask与移 位特征 之间的元素积， 其中， 可学习的掩码 用tanh(M)+1来计算， M为需要计算的关节点； 3.2)时间卷积网络使用时间移位图运算， 建立的轻量级自适应时间移位 图卷积模型， 时间移位图卷积的操作包括： a、 先进行时间移位操作： 给定一个骨 架序列特征F∈RN×T×C， 每个通道都有 一个可学习的时移参数Si， i＝1,2, …， C； 如果该参数是整数， 那么无法传递梯度， 因此将时间移位参数从整数约束放宽到实数约 束， 利用线性插值的方式进行插值计算； 非整数移位 通过线性插值计算公式如下: 式中v为节点， 将整数实数化后产生的余量用 λ表示， 由于实数化后， 锚 点落在了 之间， 因此在这个区间进行插值； 此操作可微， 通过反向 传播进行训练； b、 逐点卷积。权　利　要　求　书 1/1 页 2 CN 114495158 A 2应用于复杂场景的行为检测系统 技术领域 [0001]本发明涉及目标识别技 术领域， 具体涉及一种应用于复杂场景的行为检测系统。 技术背景 [0002]行为检测的研究目的是从长视频中定位出人们感兴趣的行为在时间甚至是空间 上的具体位置， 是最为重要的视频 理解任务之一。 在复杂的应用场景中， 目标通常会受光照 变化、 噪声、 环境等因素的影响， 有较大的外观变化， 导致算法性能下降， 准确地跟踪 行人变 成了一个极具挑战性的任务。 需要考虑的是复杂场景情况多变， 行人跟踪要适应场景 的动 态变化， 尤其是光照条件的变化， 例如飘动的云层引起的光照强度变化、 突变的天气等。 [0003]随着计算机视觉技术的发展， 对上述问题提出了许多解决方法。 通常场景 图像序 列是由一个位置不变的摄像机获取 的， 许多学者使用背景建模法提取场景中的运动区域， 以此作为检测行人 的基础。 但是使用背景减除法获取场景中的运动区域， 并采用一种基于 层级的框架检测阴影的方法仅使用颜色特征检测阴影， 只能检测出大面积的阴影区域， 鲁 棒性较低。 发明内容 [0004]为了解决上述技术问题， 本发明提出一种应用于复杂场景的行为检测系统， 包括 图像采集装置、 自动识别装置和通信装置。 图像采集装置是网络摄像机， 网络摄像机通过现 场控制箱内的交换机与箱内的硬盘录像机连接； 通信装置是5G无线信号 收发单元CPE； CPE 与交换机连接； 自动识别装置是以CPU和GPU为核心的检测模块； 检测模块在控制箱内， 并与 交换机连接； 检测模块对网络摄像机采集到的视频流采样处理， 把处理结果通过CP E发送到 后台端； [0005]在检测模块中， 采用AI算法对视频流进行处理和识别， 在AI算法中首先对图像采 集装置获得的视频帧序列， 提取每一帧中人 的骨架信息； 再把这些骨架信息的骨架关节在 相应帧的位置特 征经过归一化处理； 最后采用动作骨架 识别网络进行识别， 并分类输出。 [0006]图像采集装置可实现在光照变化大等复杂场景下的高精度采集， 自动识别装置可 实现超密集情况复杂场景下的数据感知。 本检测系统在光照和 场景变换等复杂场景下可以 保持较强的鲁棒 性。 附图说明 [0007]图1是本实施例的检测系统的结构示 意图； [0008]图2是本实施例的检测系统算法流 程图； [0009]图3是本实施例的动作骨架 识别网络结构图。 具体实施方式 [0010]下面结合附图与具体实施方式对本发明进一 步说明：说　明　书 1/3 页 3 CN 114495158 A 3