(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111252738.3 (22)申请日 2021.10.27 (65)同一申请的已公布的文献号 申请公布号 CN 114023062 A (43)申请公布日 2022.02.08 (73)专利权人 河海大学 地址 210000 江苏省南京市江宁区佛城西 路8号 (72)发明人 唐果　赖雨桐　郑博文　 (74)专利代理 机构 南京千语知识产权代理事务 所(普通合伙) 32394 专利代理师 祁文彦 (51)Int.Cl. G08G 1/01(2006.01) G08G 1/052(2006.01)G06N 20/00(2019.01) 审查员 郭海洋 (54)发明名称 一种基于深度学习和边缘计算的交通流信 息监测方法 (57)摘要 本发明公开了一种基于深度学习和边缘计 算的交通流信息监测方法， 首先在云中心利用 YOLOv5和DeepSORT算法通过大量的交通视频数 据训练出车辆跟踪模型， 然后将其迁移部署到边 缘服务器上； 接着通过架设在道路 交通杆上的的 高分辨率摄像机上传交通视频至边缘服务器， 完 成车辆追踪并设置虚拟线圈； 然后运用ViBe背景 建模算法， 完成实时速度、 排队长度等交通流信 息的计算； 最后在显示屏上显示实时更新的交通 数据； 本发 明所述交通流监测方法不仅能对车辆 数量进行计数， 还能监测实时速度、 车辆占有、 排 队长度、 交通拥堵指数等重要交通 流信息。 权利要求书3页 说明书9页 附图2页 CN 114023062 B 2022.08.19 CN 114023062 B 1.一种基于深度学习和边 缘计算的交通 流信息监测方法， 其特 征在于， 包括如下步骤： 步骤1： 云服 务器运用YOLOv5和De epSORT算法训练车辆跟踪模型； 具体包括： 步骤11： 使用YOLOv5算法训练车辆监测模型； 步骤111： 将输入的交通视频序列图片进行预处理， 通过K ‑Means算法生成先验框， 在 K‑ Means算法中， 使用的是欧氏距离来完成聚类， 而YOLOv5采用处 理后的IOU作为欧氏距离： Distance(i， center)＝1 ‑IOU(i， center) 然后得到的五个聚类中心便是 先验框的宽高； 步骤112： 利用Focus结构得到没有信息丢失情况下的二倍下采样特征图， 每张图片首 先通过Focus结构复制为四份并分别进行切片操作， 再将得到的四个切片从深度上做 concat， 最后对得到的新图片进行 卷积操作， 生成下采样特 征图并传入YOLOv5的Backbo ne； 步骤113： 首先在B ackbone中通过一系列卷积核数不同的卷积层、 CSPNet结构以及SPP 结构进行特征提取， 并在卷积核数为192、 384和768的卷积层输出三个特征图； 接着利用 PANet结构对上述三个特征图进行一系列上采样、 下采样、 卷积以及concat操作， 最后输出 通道数为162的三个特 征图并传递到预测层生成边界框和预测类别； 步骤114： 利用步骤111的先验框对网络输出的特征层进行解码； 将步骤113得到的输出 通道数为162的三个特征图输出分别进行reshape操作， 并把其中的(tx， ty， tw， th)四个参数 分离出来， 根据公式计算出 预测框的实际位置： bx＝σ(tx)+cx by＝σ(ty)+cy (bx， by)是预测框的中心坐标， bw， bh分别是预测框的宽度和高度， (tx， ty， tw， th)分别为 网络预测的边界框中心偏移量以及宽 高缩放比， (cx， cy)为先验框在特征图上的中心坐标， pw， ph分别为先验框在特 征图上的宽和高； 步骤115： 将每个车辆预测框中的最大 预测概率乘以置信度得到每 个预测框的分数； 车辆预测框： (bx， by， bw， bh， confidence， {Pr(Clas si|Object)|i ＝1、 2...n}) IOU计算公式为： 置信度的计算公式为： 预测框分数计算公式为： confidence为车辆预测框的置信度； Pr(Object)表示是否有车辆落在一个grid  cell 里； 表示预测框和真实框之间的交并比IOU； P r(Classi|Object)为预测框内车辆为 第i类的概 率； n表示有n个预测类别； score表示车辆预测框的得分；权　利　要　求　书 1/3 页 2 CN 114023062 B 2步骤116： 对得到的分数进行筛选与 排序， 将得分大于0.5的框作 为预选框； 采用非极大 抑制， 在同一个类别中选择一个最高分数的框， 计算它和其他框的重合度， 去除IOU超过0.7 的框， 重复该步骤直到没有比当前 预选框的IOU值0.7高的框， 则将其作为 最终结果； 步骤117： 定义损失函数并训练车辆监测模型； 损失函数定义为分类损失、 定位损失和 置信度损失之和： 以上公式中N表示类别总个数， xi为当前类别预测值， yi为经过激活函数后得到的当前 类别的概率， 则为当前类别的真实值， 为0或1， B表示预测框， Bgt表示真实框， ρ2(B， Bgt)为 真实框和预测框中心点距离的平方， c2为闭包真实框和预测框最小框的对角线的平方， 为预测框和真实框长宽比例差值的归一化， 其中wgt为真实框的 宽， hgt为真实框的高， w为预测框的宽， h为预测框的高， α 为权衡长宽比例造成的损失和IOU 部分造成的损失的平衡因子， tn代表目标， 即 真实值， xn是车辆监测模型输出的值； 通过分析损失函数随着迭代次数的变化， 判断其收敛性以评估训练得到的车辆监测模 型； 步骤12： 将监测到的车辆对象作为输入使用De epSORT算法训练车辆跟踪模型； 步骤121： 首先利用第一帧的各车辆监测框创建对应的tracker并设定其轨迹状态为非 确定态完成初始化， 然后使用卡尔曼 滤波预测目标 车辆在下一帧的位置： xk＝Axk‑1 pk＝Apk‑1AT+Q xk‑1为目标的状态信息即 其中(u， v)是bounding  box的中心坐标， γ 是长宽比， h表示高度， 其余四个变量 分别表示在图像坐标系中u、 v、 γ、 h 的速 度变化值； pk‑1为目标的估计误差， A为状态转移 矩阵， Q为系统误差； 步骤122： 使用匈牙利算法将步骤121得到的预测框和下一帧中的车辆监测框进行级联 匹配和IOU匹配， 利用匹配成功的轨 迹信息对卡尔曼 滤波中所有t racker的状态进行 更新； 步骤123： 根据步骤122得到的IOU匹配结果经由1 ‑IOU计算代价矩阵， 然后以此作为匈 牙利算法的输入得到线性匹配结果； 匹配成功则更新卡尔曼滤波的运动变量； 车辆跟踪轨 迹匹配失败但曾为确认态则失配大于30次后删除其ID和轨迹信息， 否则直接删除； 车辆观 测量匹配失败则重新创建t racker； 步骤124： 重复步骤12 2直至交通视频中的所有帧均比较完即结束； 步骤2： 将训练好的车辆跟踪模型移植到边缘服务器上， 通过架设在道路交通杆上的高 分辨率摄像机收集交通视频 数据并实时上传至边 缘服务器； 步骤3： 分布式边缘服务器使用已训练好的车辆跟踪模型对交通视频中的车辆进行追 踪；权　利　要　求　书 2/3 页 3 CN 114023062 B 3