(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210821827.3 (22)申请日 2022.07.13 (71)申请人 山东建筑大学 地址 250101 山东省济南市历城区临港开 发区凤鸣路10 00号 申请人 中建八局第二建 设有限公司 　 山东大学 (72)发明人 刘洪彬　王乾　邓晓平　彭伟　 李成栋　田晨璐　王鹏飞　侯和涛　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李琳 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01)G06V 10/762(2022.01) G06N 3/04(2006.01) (54)发明名称 基于视频轨迹分析的工人闯入临边区域预 警方法及系统 (57)摘要 本发明属于行为智能识别领域， 提供了基于 视频轨迹分析的工人闯入临边区域预警方法及 系统， 该方法包括获取待检测视频数据； 根据待 检测视频数据和目标检测网络， 得到目标在视频 中的位置， 对目标进行轨迹跟踪得到目标跟踪轨 迹； 采用社会力运动场和3D几何位置关系映射计 算得到目标的能量场数值； 基于目标跟踪轨迹和 目标的能量场数值， 通过轨迹穿越临边区域概率 模型， 得到目标的能量估计概率密度， 在目标的 能量估计概率密度超过临边区域阈值时进行报 警， 可以精准计算工人 是否穿越了临边区域。 权利要求书2页 说明书7页 附图2页 CN 115063730 A 2022.09.16 CN 115063730 A 1.基于视频轨迹分析的工人闯入临边区域预警方法， 其特 征在于， 包括如下步骤： 获取待检测视频 数据； 根据待检测视频数据和目标检测网络， 得到目标在视频中的位置， 对目标进行轨迹跟 踪得到目标跟踪轨 迹； 采用社会力运动场和3D几何位置关系映射计算得到目标的能量场数值； 基于目标跟踪轨迹和目标的能量场数值， 通过轨迹穿越临边区域概率模型， 得到目标 的能量估计概 率密度， 在目标的能量估计概 率密度超过临边区域阈值时进行报警。 2.如权利要求1所述的基于视频轨迹分析的工人闯入临边 区域预警方法， 其特征在于， 所述根据待检测视频数据和目标检测网络， 得到目标在视频中的位置， 对目标进行轨迹跟 踪得到目标跟踪轨 迹， 包括： 在第k帧图像选取施工人员的边界框， 得到施工人员的特征图， 将其作为目标跟踪模 板； 将第k帧图像输入孪生神经网络中， 经 过主干特 征提取网络， 得到多维特 征； 将多维特征平铺至一维上， 得到一维特征向量， 求一维特征向量之间的距离， 对该距离 进行两次全连接， 输出 该图像和目标跟踪模板之间的相似程度； 计算第k帧图像中目标的相似度与第k+1帧图像 中目标的相似度的差， 若该差大于设定 阈值， 则不是同一目标的轨 迹， 否则， 记录目标的位置并更新目标的轨 迹。 3.如权利要求1所述的基于视频轨迹分析的工人闯入临边 区域预警方法， 其特征在于， 所述采用社会力运动场和3D几何位置关系映射计算得到目标的能量场数值， 包括： 根据目标i在第k帧图像中的目标运动状态得到其自驱力； 结合其自驱力、 目标与其他目标和周围障碍物的排斥力以及目标本身随机变化的随机 力得到目标i的社会力； 基于每帧图像 中目标i的社会力， 根据 人眼视觉的零视差状态原理， 建立同一目标不同 运动状态与其所处位置对应的3D几何位置映射关系； 融合目标i的社会力以及3D几何位置映射关系， 计算得到目标在t时刻的能量场数值。 4.如权利要求1所述的基于视频轨迹分析的工人闯入临边 区域预警方法， 其特征在于， 所述临边区域的获取 过程为： 基于待检测视频图像帧和DCN临边区域标志 识别模型进行识别得到临边区域标志； 结合临边 区域标志和 专家标注的临边 区域粗框的交叉项， 通过搜索两者结合后遮挡的 边界框， 得到最终的临边区域的边界。 5.如权利要求4所述的基于视频轨迹分析的工人闯入临边 区域预警方法， 其特征在于， 所述基于待检测视频图像帧和DCN临边区域标志识别模型进行识别得到临边区域标志包 括： 使用第l层的输出和对应的权重计算出第l+1层的输出， 将得到的交叉输出向量拼接起 来， 经过l层后， 输出临边区域可识别的标志； 其中， 对应的权 重的获取 方式为： 从待检测视频图像帧中取出xq(t)、 xk(t)和xv(t)三种列向量作为隐藏层不同的通道头 部， 分别按行排列成为 Q、 K和V； 引入偏置矩阵B， 其元素为xq(t)、 xk(t)和xv(t)作为通道头部时与图像中心像素点的相权　利　要　求　书 1/2 页 2 CN 115063730 A 2对位置偏差； 通过计算 三个矩阵Q、 K和V的多头注意力获得两个向量之间的相似度作为权 重。 6.如权利要求1所述的基于视频轨迹分析的工人闯入临边 区域预警方法， 其特征在于， 在得到目标跟踪轨 迹后进行小 波包轨迹平滑处理， 包括： 将目标跟踪轨迹看作 连续时间序列， 基于该连续 时间序列， 在小波包分解树中， 每一层 用阈值函数对超过阈值的轨迹片段的小波系数进 行零化处理得到小波包序列， 再用小波包 反变换将平 滑的小波包序列进行重构， 得到平 滑的目标移动轨 迹。 7.如权利要求1所述的基于视频轨迹分析的工人闯入临边 区域预警方法， 其特征在于， 在获取待检测视频 数据进行 数据的预处 理， 包括： 将输入图像的像素点使用自适应均值滤波算法， 计算出 噪声像素与非噪声像素不同的 权重， 自适应地 寻找最优窗口大小后进行 滤波； 将滤波后的向量通过遍历图像矩阵中的每一个像素， 使用Z ‑score算法进行图像数据 的归一化处理。 8.基于视频轨迹分析的工人闯入临边区域预警系统， 其特 征在于， 包括： 数据获取模块， 用于获取待检测视频 数据； 目标跟踪轨迹模块， 用于根据待检测视频数据和目标检测网络， 得到目标在视频中的 位置， 对目标进行轨 迹跟踪得到目标跟踪轨 迹； 轨迹分析模块， 用于采用社会力运动场和3D几何位置关系映射计算得到目标的能量场 数值； 临边区域预警模块， 用于基于目标跟踪轨迹和目标的能量场数值， 通过轨迹穿越临边 区域概率模型， 得到目标 的能量估计概率密度， 在目标的能量估计概率密度超过临边区域 阈值时进行报警。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于视频轨迹 分析的工人闯入临边区域预警方法 中的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于视频轨迹分析的工人闯入临边区域预警方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115063730 A 3