(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210421476.7 (22)申请日 2022.04.21 (71)申请人 中国公路工程咨询集团有限公司 地址 100089 北京市东城区青龙胡同甲1 号、 3号2幢2层 (72)发明人 梁昭伟　孙昊　范栋男　安泽萍　 黄群龙　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 杜娟 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G08G 1/01(2006.01) (54)发明名称 基于雷达与视频相融合的交通事件检测方 法及系统 (57)摘要 本发明公开了一种基于雷达与视频相融合 的交通事件检测方法及系统， 涉及交通事件检测 技术领域。 具体步骤包括如下： 获取雷达数据与 视频数据， 构建车辆检测数据集； 利用所述车辆 检测数据集训练YOL Ov5网络， 得到异常目标检测 网络； 通过所述异常目标检测网络检测可疑车 辆； 对所述可疑车辆的信息进一步处理， 判断是 否为异常车辆； 确定所述异常车辆后， 融合所述 雷达数据进行异常事件的判断。 本发 明通过融合 雷达与视频数据， 完成对隧道中异常事件测检 测， 相比于人工监控和云端处理而言， 将极大地 解放人力， 节约劳动成本， 避免了工作人员因疲 劳等原因在监控处理中产生疏漏， 也避免了云端 处理数据带来的较大时延。 权利要求书1页 说明书5页 附图3页 CN 114758297 A 2022.07.15 CN 114758297 A 1.一种基于雷达与视频相融合的交通事 件检测方法， 其特 征在于， 具体步骤 包括如下： 获取雷达数据与视频 数据， 构建车辆检测数据集； 利用所述车辆检测数据集训练YOLOv5网络， 得到异常目标检测网络； 通过所述异常目标检测网络检测可疑车辆； 对所述可疑车辆的信息进一 步处理， 判断是否为异常车辆； 确定所述异常车辆后， 融合所述雷达数据进行异常事 件的判断。 2.根据权利要求1所述的一种基于雷达与视频相融合的交通事件检测方法， 其特征在 于， 还包括训练好YOLOv5网络后， 对YOLOv5网络与权 重进行编译， 生成相应的引擎文件。 3.根据权利要求1所述的一种基于雷达与视频相融合的交通事件检测方法， 其特征在 于， 所述异常车辆的判断方式为： 对于所述可疑车辆的信息， 读取车辆位置数据， 对所述车 辆位置数据进行K均值聚类操作； 根据肘部法则， 当聚类中心存在6个以上的可疑车辆位置 数据， 则所述可疑车辆被认为是异常车辆 。 4.根据权利要求1所述的一种基于雷达与视频相融合的交通事件检测方法， 其特征在 于， 融合所述雷达数据进行异常事件的判断的具体方式为： 当前检测周期 内雷达数据中存 在车辆速度为正值， 则 当前检测周期 内存在逆行异常事件； 当检测周期内车辆平均速度低 于20m/s， 则存在 交通拥挤事件； 当前检测周期内确 定有异常车辆后， 雷达数据中存在加速 度值超过15m/s^2， 认为存在 交通事故异常事件； 确 定异常车辆之后， 若异常车辆位置信息 在应急车道区域， 认为是应急车道停车异常事件； 若异常车辆位置信息不在应急车道区域， 认为是违章停车事 件。 5.根据权利要求1所述的一种基于雷达与视频相融合的交通事件检测方法， 其特征在 于， 所述视频数据被处理成平均帧图像， 利用异常目标检测网络对所述平均帧图像进行推 理， 判断是否为可疑车辆 。 6.根据权利要求1所述的一种基于雷达与视频相融合的交通事件检测方法， 其特征在 于， 构建车辆检测数据集的方式为： 从coco数据集中提取公交车、 卡车、 汽车、 摩托车、 行人 类别， 搜集火灾数据集， 并把火灾数据集的标注转换为coco数据集的格式， 将这六类图像拼 凑成一个车辆检测数据集。 7.一种基于雷达与视频相融合的交通事件检测系统， 其特征在于， 包括数据获取模块、 模型训练模块、 可疑车辆检测模块、 异常车辆检测模块、 雷达信息融合模块； 其中， 所述数据获取模块， 用于获取 雷达数据与视频 数据， 构建车辆检测数据集； 所述模型训练模块， 用于利用所述车辆检测数据集训练YOLOv5网络， 得到异常目标检 测网络； 所述可疑车辆检测模块， 用于通过 所述异常目标检测网络检测可疑车辆； 所述异常车辆检测模块， 用于对所述可疑车辆的信息进一步处理， 判断是否为异常车 辆； 所述雷达信息融合模块， 用于确定所述异常车辆后， 融合所述雷达数据进行异常事件 的判断。 8.根据权利要求7所述的一种基于雷达与视频相融合的交通事件检测系统， 其特征在 于， 还包括预 处理模块， 用于将所述视频数据处理成平均帧图像， 所述雷达数据处理成通信 格式。权　利　要　求　书 1/1 页 2 CN 114758297 A 2基于雷达与视频相融合的交通事件检测方 法及系统 技术领域 [0001]本发明涉及交通事件检测技术领域， 更具体的说是涉及 一种基于雷达与视频相融 合的交通事 件检测方法及系统。 背景技术 [0002]随着近些年， 人工智能技术、 图像处理技术、 传感器技术等领域迅速的崛起， 融合 了上述诸多先进技术的高速公路监测系统应运而生。 但其中大部分主要依靠视觉技术监测 各类交通事件。 但由于高速公路隧道几乎涵盖了交通道路环境中的种种复杂情况， 仅依靠 视觉技术无法满足人们对高速公路隧道智能监测系统可靠性、 完备性的要求， 所以必须要 求高速公路隧道智能监测系统 能够高效地对所监测的隧道路段的交通信息、 环境信息等进 行全面地采集。 但视觉技术存在探测距离 短、 易受外界环境影响等缺点， 无法采集到全面的 隧道信息 。 [0003]毫米波雷达传感器具有测量精度 高、 测量距离远等优点， 可以鲁棒地应对各种恶 劣的天气环境， 但其本身易受到杂波影响且在隧道密闭环境中会出现部分区域检测不到的 现象， 并不适合单独在隧道中使用。 因此， 对本领域技术人员来说， 如何将雷达与视觉相融 合进行交通事 件检测是亟 待解决的问题。 发明内容 [0004]有鉴于此， 本发明提供了一种基于雷达与视频相融合的交通事件检测方法及系 统， 以解决背景技 术中的问题。 [0005]为了实现上述目的， 本发明采用如下技术方案： 一种基于雷达与视频相融合的交 通事件检测方法， 其特 征在于， 具体步骤 包括如下： [0006]获取雷达数据与视频 数据， 构建车辆检测数据集； [0007]利用所述车辆检测数据集训练YOLOv5网络， 得到异常目标检测网络； [0008]通过所述异常目标检测网络检测可疑车辆； [0009]对所述可疑车辆的信息进一 步处理， 判断是否为异常车辆； [0010]确定所述异常车辆后， 融合所述雷达数据进行异常事 件的判断。 [0011]可选的， 还包括训练好YOLOv5网络后， 对YOLOv5网络与权重进行编译， 生成相应的 引擎文件。 [0012]可选的， 所述异常车辆的判断方式为： 对于所述可疑车辆的信息， 读取车辆位置数 据， 对所述车辆位置数据进 行K均值聚类操作； 根据 肘部法则， 当聚类中心存在6个以上的可 疑车辆位置数据， 则所述可疑车辆被认为是异常车辆 。 [0013]可选的， 融合所述雷达数据进行异常事件的判断的具体方式为： 当前检测周期内 雷达数据中存在车辆速度为正值， 则 当前检测周期内存在逆行异常事件； 当检测周期 内车 辆平均速度低于20m/s， 则存在 交通拥挤事件； 当前检测周期内确定有异常车辆后， 雷达数 据中存在加 速度值超过15m/s^2， 认为存在 交通事故异常事件； 确 定异常车辆之后， 若异常说　明　书 1/5 页 3 CN 114758297 A 3