(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210357221.9 (22)申请日 2022.04.06 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 申请人 北京航空航天大 学杭州创新研究院 (72)发明人 金城　王中策　吴渊　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 专利代理师 王洁平 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/76(2006.01) G01S 7/41(2006.01) G06F 16/78(2019.01) G06F 16/783(2019.01)G06F 16/787(2019.01) G06K 9/62(2022.01) G06T 7/277(2017.01) G06V 10/62(2022.01) G06V 10/74(2022.01) G06V 10/94(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) (54)发明名称 基于边缘计算和多传感器联合的安防监控 系统及工作方法 (57)摘要 本发明公开了一种基于边缘计算和多传感 器联合的安防监控系统及工作方法。 该系统包括 边缘节点模块、 后端存储管 理模块和前端可视化 模块三部分； 边缘节点模块由多个相互间通信的 监控节点构成； 每个监控节点包括若干毫米波雷 达、 一台监控云台和一台边缘计算设备； 该系统 在有限资源和节点带宽环境下， 通过将目标检 测、 目标追踪任务下沉到边缘节点， 缓解云端服 务器的计算压力， 过滤毫米波雷达噪声和冗余视 频帧数据， 降低云端服务器的带宽负载。 本发明 可有效解决传统监控系统计算压力大、 带宽负载 高等问题。 权利要求书2页 说明书4页 附图5页 CN 114928714 A 2022.08.19 CN 114928714 A 1.一种基于边缘计算和多传感器联合多安防监控系统， 其特征在于， 其包括边缘节点 模块、 后端存储管 理模块和前端 可视化模块三部分， 边缘节 点模块、 后端存储管理模块和前 端可视化模块之间分别进行通信； 其中： 所述边缘节点模块由多个相互间通信的监控节点构 成； 每个监控节点包括若干毫米波 雷达、 一台监控云台和一台边缘计算设备， 监控云台、 毫米波雷达分别和边缘计算设备相 连， 邻接监控节点含有重叠监控区域， 边缘计算设备对毫米波雷达和监控云台监控到的原 始数据进行边 缘计算处 理； 所述后端存储管理模块和前端可视化模块运行于一台中央服务器上， 与用户进行交 互。 2.根据权利要求1所述的基于边缘计算和多传感器联合多安防监控系统， 其特征在于， 毫米波雷达有四台， 相邻毫米波雷达间夹角为90度， 每台毫米波雷达的可视范围为10 0度。 3.一种权利要求1所述的基于边缘计算和多传感器联合的安防监控系统的工作方法， 其特征在于， 包括如下步骤： 步骤1： 系统初始化 边缘节点模块读取当前监控节点的系统配置信息， 包括经纬度坐标、 监控云台方位和 毫米波雷达方位信息， 向后端存储管理模块请求当前监控节点注册， 更新当前监控节点的 通信路由表， 得到含有重 叠监控区域的邻接监控节点； 步骤2： 实时目标检测 边缘节点模块的边缘计算设备分析毫米波雷达原始数据， 提取目标的方位和速度， 若 不存在目标， 重复此步骤； 若存在目标， 根据目标方位转动监控云台至目标方向， 分析监控 云台提供的视频帧， 提取目标的图像检测框， 通过坐标转换和多模态数据匹配算法， 求出雷 达与图像内目标的位置距离， 设定距离阈值过 滤雷达噪声， 得到目标检测结果； 步骤3： 实时目标跟踪和轨 迹管理： 边缘节点模块的边缘计算设备采用卡尔曼滤波算法， 通过比对相邻 两帧目标的位置关 系， 判断当前监控节点下目标身份信息和轨迹点； 若目标在监控节点间移动， 监控节点依据 通信路由表与邻接监控节点通信， 比对目标 的方位和外观特征， 获取目标在邻接监控节点 下的身份信息； 步骤4： 监控数据的保存 后端存储管理模块与监控节点通信， 得到目标的身份、 方位、 图像检测框； 以目标身份 信息为唯一标识， 以经纬度为坐标单位， 按照目标方位的时间戳， 在数据库中生成并存储目 标的时序轨迹序列； 对每个监控节点， 记录最近出现目标的次数， 并据此选择性保存含有目 标的视频片段， 并剔除帧数较少的视频片段； 步骤5： 系统可视化和区域预警 前端可视化模块解析监控云台的RTSP视频流， 并根据后端存储管理模块提供的目标检 测结果绘制检测框， 并在地图控 件内绘制目标轨 迹， 若目标进入监控区域则进行 预警。 4.根据权利要求3所述的工作方法， 其特征在于， 步骤2中， 监控云台设置12个方向预置 位， 相邻方向预置位相差30度； 根据雷达提供的目标方位信息， 计算目标在监控节点坐标系 下的方位角， 并根据目标位置范围与方向预置位的映射关系， 实现监控云台定向转动， 保持 目标处于监控视野范围。权　利　要　求　书 1/2 页 2 CN 114928714 A 25.根据权利要求3所述的工作方法， 其特征在于， 步骤2中， 雷达和图像的目标匹配方法 为： 根据图像检测框得到目标落脚点在图像上位置、 监控云台与地面的夹角和高度信息， 利 用相似三角形单目测距法得到目标在雷达坐标系下的位置， 以毫米波 雷达与图像内目标的 位置距离作为衡量标准， 利用最近邻数据关联算法求出目标关联 结果。 6.根据权利要求3所述的工作方法， 其特征在于， 步骤3 中， 目标跟踪和轨迹管理的具体 实现方法为： 对于步骤2的目标检测结果， 分为关联目标Omerge、 雷达目标Oradar和图像目标 Oimage三类； 对于不同的目标类型， 轨 迹关联和更新策略如下： (1)关联目标Omerge送入卡尔曼滤波中更新， 得到目标追踪结果Ttracked， 在轨迹管理器中 更新目标状态， 如果没有在轨迹管理器中找到关联轨迹， 则创建一个新的轨迹并初始化向 量状态， 等待下次传入观测量更新； (2)对于雷达目标Oradar和图像目标Oimage， 将其与还没有关联的轨迹进行匹配， 图像目标 Oimage根据目标检测框尺寸和位置同轨迹目标比较， 找出目标检测框交 并比较大的目标进行 关联并标记为弱目标； 雷达目标Oradar根据目标速度和方位信 息比较， 得到的结果在轨迹管 理器中同样标注为弱目标； (3)如果雷达目标Oradar和图像目标Oimage都没有找 到合适的轨迹， 则当作误检目标对待， 加入轨迹管理器中作为弱目标， 如果下一次有关联目标Omerge与之匹配， 则升级为强目标。 7.根据权利要求3所述的工作方法， 其特征在于， 步骤3 中， 通信路由表内含有监控节点 相对于当前监控节点的探测方位区间， IP地址， 和节 点状态； 监控节点根据目标来向查找 通 信路由表对应的邻接监控节点， 若查找结果为空则 说明目标来自于外界区域， 直接生成目 标身份信息； 若查找结果 不为空， 则与邻接监控节点 通信， 获取目标的身份信息 。 8.根据权利要求3所述的工作方法， 其特征在在于， 步骤4中， 后端存储管理模块接收监 控云台的RTSP 视频流保存视频数据， 并提出视频录制策略， 选择需要录制视频的监控节 点； 视频录制策 略具体为： 后端存储管理模块维护监控节的目标频率统计量cnt， 每隔时间段t 检查当前目标的所在区域， 设置目标消失间隔阈值m和最少 视频帧数n， 并按以下策略选择 是否录制视频： (1)对于含有目标的监控节点， 将其对应的cnt加1， 继续保存视频流； (2)为防止漏检导致的视频录制终止， 对于不含有目标的监控节点， 若其待对应的cnt 不为0， 则将cnt置为cnt/2； 若cnt＞m， 说明目标刚刚消失， 有可能继续出现在视野范围， 继 续保存视频流； 否则说明目标已消失一段时间， 停止保存视频流； (3)为防止误检导致的视频录制， 停止保存视频流时， 检查本段视频的帧数frames， 若 frames＜n， 说明该片段的保存是由于监控节点误检导致的， 为冗余视频片段， 将该视频片 段从存储区内删除。权　利　要　求　书 2/2 页 3 CN 114928714 A 3