(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210285817.2 (22)申请日 2022.03.23 (71)申请人 河海大学 地址 210024 江苏省南京市 鼓楼区西康路1 号 (72)发明人 陈俊风　毛矛　谢志浩　吕嘉　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 李淑静 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G16Y 10/30(2020.01)G16Y 40/10(2020.01) G16Y 40/50(2020.01) (54)发明名称 基于机器视觉的智慧工地安全监测系统及 方法 (57)摘要 本发明公开了一种基于机器视觉的智慧工 地安全监测系统及方法， 所述系统工地数据收集 系统和安全 行为监测系统， 所述工地数据收集系 统利用视频捕获设备采集工地视频数据； 所述安 全行为监测系统基于输入的视频数据执行工地 安全算法， 识别出潜在危险； 所述安全行为监测 系统包括： 目标检测模块， 用于输入的每帧图像 数据提取特征并确定目标的检测框位置； 目标跟 踪模块， 用于对检测框中的目标进行实时跟踪， 确定轨迹状态； 以及安全检测模块， 基于目标检 测和目标跟踪算法对工人行为进行分析， 判断是 否存在未佩戴安全帽、 跌倒中的一种或多种情 况， 安全检测模块还对烟火隐患进行检测。 本发 明结合机器视觉技术和深度学习算法， 提高工地 危险违规行为检测能力。 权利要求书3页 说明书12页 附图5页 CN 114677640 A 2022.06.28 CN 114677640 A 1.一种基于机器视觉的智慧工地安全监测系统， 其特征在于， 包括： 工地数据收集系统 和安全行为监测系统， 所述工地数据收集系统利用视频捕获设备采集工地视频数据； 所述 安全行为监测系统基于输入的视频数据执行工地安全识别算法， 识别出潜在危险； 所述安 全行为监测系统包括： 目标检测模块， 通过目标检测 算法对输入的每 帧图像数据提取特征 并确定目标的检测框位置； 目标跟踪模块， 通过目标跟踪算法对检测框的目标进行实时跟 踪， 确定轨迹状态； 以及安全检测模块， 在确定目标为施工工人的情况下， 基于目标检测算 法和目标跟踪算法对工人进行实时行为分析， 判断工人是否存在违规行为， 并基于工人存 在违规行为的判断进行告警， 其中违规行为包括未佩戴安全帽和跌倒中的一种或多种情 况， 以及在确定目标为烟火的情况 下， 直接进行告警。 2.根据权利要求1所述的基于机器视觉的智慧工地安全监测系统， 其特征在于， 目标检 测模块包括： 目标检测单元， 使用改进网络结构的YOLOv3目标检测算法对输入的每帧图像 提取特征并且得到目标的检测框位置； 以及筛选单元， 利用深度融合NMS算法对目标检测单 元给出的检测框进行筛 选， 去除重 叠的检测框 。 3.根据权利要求2所述的基于机器视觉的智慧工地安全监测系统， 其特征在于， 所述目 标检测单元中改进的YOLOv3网络结构引入随机池化来对原主干网络Darknet ‑53进行下采 样操作， 所述随机池化过程包括： 将原Yolov3主网络Darknet ‑53中负责下采样的卷积层替 换为一个步长为1的卷积层和一个随机池化层， 步长为1的卷积层负责改变输出维度， 随机 池化层负责下采样。 4.根据权利要求2所述的基于机器视觉的智慧工地安全监测系统， 其特征在于， 所述筛 选单元包括： 集合建立单元， 建立检测框集合M， 检测框置信度集合S， 检测框中心像素的深度值集合 D， 最终选取的检测框集 合R， 并设置交并比阈值T， 误差深度阈值a； 排序选择单元， 以集合S基于分数从高到低将检测框排序， 将S最大的检测框从集合M 中 移动到集 合R中， 并将M中的删除； 交并比比较单元， 计算集合M 中剩余的检测框与上一步被选 中的检测框的交并比值， 判 断两个重叠的检测框的交并比值U与交并比阈值T之间的大小关系； 如果U<T， 则保留检测 框； 如果U≥T， 则比较两个检测框中心像素的深度值， 判断两个检测框中心像素的深度值之 差的绝对值d与深度阈值a之间的大小关系； 如果d≥a， 则保留检测框； 如果d<a， 则根据式 (1)分别计算两个检测框的像素的平均深度， 根据式(2)分别计算两个检测框融合后的深度 置信度： 其中， 是第i个检测框中像素的平均深度， Mi和Ni分别是第i个检测框的宽度和高度， 是检测框的像素灰度值之和， Ωp代表检测框像素点的集合， Dj 是第j个像素点的灰度值， Ci 为第i个检测框最终的置信度结果， Si是第i个检测框的得分；权　利　要　求　书 1/3 页 2 CN 114677640 A 2检测框确定单元， 比较融合后的深度置信度C， 得分较高者被视为最佳检测框， 并仅保 留最佳检测框在集 合R中； 循环控制单元， 重复排序选择单元、 交并比比较单元、 检测框确定单元的操作直到集合 M中检测框个数为0， 输出集 合R， 结束循环。 5.根据权利要求1所述的基于机器视觉的智慧工地安全监测系统， 其特征在于， 所述目 标跟踪模块包括轨迹预测单元、 初次匹配单元， 所述轨迹预测单元通过卡尔曼滤波算法预 测目标在当前帧图像中的位置， 对于算法预测结果与目标实际检测结果之间的匹配， 算法 跟踪预测结果当作一个预测轨迹， 当在指 定数量帧中算法预测检测结果和实际检测结果中 的目标都能正确联系时， 轨迹为确认轨迹； 所述初次匹配单元对于确认轨迹直接进行级联 匹配， 当出现遮挡时， 所述初次匹配单元通过使用余弦距离获取 的目标外观特征以及使用 交并比思想获取的运动信息得到指标 结果。 6.根据权利要求5所述的基于机器视觉的智慧工地安全监测系统， 其特征在于， 所述初 次匹配单 元包括： 外观特征指标单元， 使用余弦距离获取目标外观特征指标， 余弦距离计算公式如下式 所示： 其中， Ex表示第m条轨迹的目标外观特征， M为算法跟踪预测结果的轨迹总数， Ey表示第n 个目标的外观特 征； 运动特征指标单元， 使用交并比思想获取运动特 征指标， 交并比计算公式如下式所示： 其中， 表示第m条轨迹在t+1时刻的位置， 表示第n个目标在t+1时刻的位置， 上标 ^表示估计值， area表示 面积； 特征联合单元， 将外观特征指标和运动特征指标进行关联， 获得最终特征指标， 公式如 下所示： dt＝ λ d1+(1‑λ )d2 其中， dt值表示最终的指标结果， λ表示外观特征指标的权重， l表示发生遮挡时消失的 轨迹长度， ω和 θ 是设置的学习参数； 关联确定单元， 将最终的指标结果dt与预设的置信度阈值进行比较， 如果dt大于该置信 度阈值， 则确定目标被正确关联。 7.根据权利要求5所述的基于机器视觉的智慧工地安全监测系统， 其特征在于， 所述目 标跟踪模块还包括二次匹配单元， 用于将未能级联匹配的轨迹以及未确认轨迹 建立轨迹的 集合， 计算没有成功匹配的检测和 集合轨迹的交并比， 并使用匈牙利算法对没有成功匹配 检测和集合轨迹进行匹配， 通过交并比结果与预设置信度的比较， 删除低于预设置信度的权　利　要　求　书 2/3 页 3 CN 114677640 A 3