(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210009200.8 (22)申请日 2022.01.06 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 周德龙　任威　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 王兵　舒良 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) G06T 7/277(2017.01) (54)发明名称 一种基于改进型YOLOV5算法的飞机多目标 跟踪方法 (57)摘要 一种基于改进型YOLOV5算法的飞机多目标 跟踪方法， 具体步骤如下： 步骤1： 收集与标注飞 机目标数据集； 步骤2： 基于步骤1中的数据集对 YOLOV5目标检测网络进行训练， 并针对飞机目标 进行改进； 步骤3： 构建DeepSORT跟踪器； 步骤4： 基于YOLOV5检测器与DeepSORT跟踪器结合进行 飞机目标跟踪。 本发明针对飞机多目标跟踪中存 在的小目标漏检的问题， 对YOLOV5检测模型进行 改进， 能够实现对多场景下飞机目标的检测与多 目标跟踪。 权利要求书3页 说明书7页 附图4页 CN 114529799 A 2022.05.24 CN 114529799 A 1.一种基于改进型YOLOV5算法的飞机多目标跟踪方法， 其特 征在于， 包括以下步骤： 步骤1： 收集与标注飞机目标 数据集， 具体包括： 收集飞机图像数据以及视频数据， 使用标注工具Labelimg、 Darklabel分别对图像和视 频进行标注， 并构建飞机图像数据集， 将所述数据集划分成训练集、 测试集以及验证集； 步骤2： 基于步骤1中的数据集对YOLOV5目标检测网络进行训练， 并针对飞机目标进行 改进， 具体包括： 步骤2.1： 基于BiFPN结构进行多特 征融合： YOLOV5的主干网络由CONV模块、 C3模块、 SPPF模块结合构成， 可以产生多尺度的特征 图， 利用BiFPN结构在head部 分中加入多特征融合， 针对飞机小目标的漏检问题， 使用4种不 同尺度下的特 征检测图层， 对大小不同的飞机目标进行检测； 步骤2.2： 使用CBAM注意力机制模块增 加YOLOV5模型检测精准度： 使用CBAM注意力机制， 将通道注意力机制与空间注意力机制融合， 使特征能够覆盖到 检测物体的更多部位， 最终使判断物体的几率 提高， 增强模型的检测精准度； 步骤2.3： 获得YOLOV5检测模型： YOLOV5网络包括主干网络backbone部分、 head部分， 首先对训练集中的图像数据预处 理将所有图像统一分辨率， 并将预处理后的图像输入到backbone部分中， 获得不同尺度的 特征图， 然后将不同尺寸的特征图输入到head部分， 在head部分中对特征图依次进行上采 样、 下采样以及基于通道维度的拼接操作产生多种尺度的特征图， 并利用步骤2.1中的特征 融合操作与步骤2.2的CBAM注意力机制获得不同尺度的特征图并输入到head部分中的 Detect层， 再将多种损失函数结合并进行反向传播对模型中的梯度进行更新调节权重参 数， 最后使用验证集对现有模型进行验证， 获得YOLOV5目标检测模型； 步骤3： 构建De epSORT跟踪器， 具体包括： 步骤3.1： 构建De epSORT跟踪器运动模型： 使用卡尔曼滤波对已检测到的飞机目标构建运动模型并进行预测， 预测下一帧中飞机 目标位置； 步骤3.2： 构建De epSORT跟踪器特 征提取模块： 使用步骤1中Darklabel对视频进行标注的图像数据， 并对图像进行裁剪， 对所得到的 飞机图像数据进 行分类， 最后对 数据集划分训练集和验证集； 将所得数据输入到ResNeXt50 网络中， 并得到ResNeXt50特征提取模型， 并使用该特征检测模型对YOLOV5所检测到的飞机 目标进行 特征提取； 步骤3.3： 针对DeepSORT跟踪器中目标前后帧跟踪轨迹与检测目标之间规定距离度量 标准： 首先使用马氏距离表示 运动模型之间的关联度并作为距离函数： 其中dj表示第j个YOLO  V5检测到的目标位置， yi表示第i个DeepSORT跟踪器中所预测的 目标位置， 表示跟踪到的目标位置与检测目标位置的协方差矩阵的逆矩阵， d(1)表示在 多维运动状态数据中YOLOV5所检测 到目标的检测框与卡尔曼滤波所得到的预测 框的关联 程度；权　利　要　求　书 1/3 页 2 CN 114529799 A 2再加入特征之间的余弦距离， 对检测到的目标特征与跟踪到的目标特征之间计算余弦 距离： 其中rj表示第j个检测到所提取的目标特征并添加限制条件||rj||＝1所得， 为每个 跟踪目标构建一个轨迹， 在其中存储每个跟踪目标在最近的M帧中关联成功的特征向量， 表示第k帧中第i个跟踪到的目标特征， d(2)表示第i个跟踪到的最近N个 成功关联的特征 集与当前帧中Y OLOV5检测到的的目标特征之间的最小余弦距离， 并对以上两种方法设定阈 值， 设定匹配时的度量标准， 最终度量方式由二 者的加权求和所 得， 公式如下： ci,j＝ λ d(1)(i,j)+(1 ‑λ )d(2)(i,j)  (3) 步骤3.4： 基于匈 牙利算法对多个 检测目标与跟踪轨 迹进行匹配： 使用匈牙利算法对DeepSORT跟踪器中的跟踪轨迹与YOLOV5当前所检测到 的目标进行 匹配， 利用步骤3.2中的特征提取模块， 以及步骤3.3中的距离度量标准组合成级 联匹配， 对 跟踪轨迹与检测目标之间进 行距离计算， 并设定阈值过滤匹配结果， 之后还需要在IOU匹配 中使用匈牙利算法对跟踪轨迹与检测目标再进行一次匹配， 最后利用匹配到的结果对当前 所有轨迹分成三个 状态确认 态、 未确认 态、 删除态； 步骤4： 基于 YOLOV5检测器与De epSORT跟踪器结合进行飞机目标跟踪， 具体包括： 从摄像头或者视频流中读入第一帧， 第一帧中使用YOLOV5检测器对帧中的飞机物体进 行识别， 将所检测到的飞机目标的坐标信息、 置信度以及飞机目标图像信息传递给 DeepSORT跟踪器中， 并设置置信度阈值对检测框进行过滤， 删除置信度过小的检测框， 第一 帧中无跟踪目标， 利用YOLOV5检测器对目标进行检测并在DeepSORT跟踪器中创建新的 Tracker， 将检测到的目标存入track s中， 并初始化卡尔曼滤波器状态， Tracker中的tracks 状态初始化 为未确认 态； 读入第二帧， YOLOV5检测后将检测信息输入到DeepSORT跟踪器中， 利用第一帧中创建 的Tracker中的卡尔曼滤波器以及YOLOV5的坐标信息， 获得当前帧中的预测信息， 由于第一 帧中无确认态的tracks， 则对 未匹配的tracks以及未匹配的检测目标再进行IOU匹配， 计算 出IOU最大的唯一匹配， 最后对Tracker中各个tracks的状态进行更新， 对于已匹配的 tracks将所匹配目的特征保存到各个tracks的特征集中并更新卡尔曼滤波状态， 对于未匹 配的检测目标创建新的t racks并进行初始化， 对于依然未匹配到的t racks直接删除； 读入第三帧， YOLOV5检测后将检测信息输入到DeepSORT跟踪器中， 该帧中依然没有确 认态的tracks， 在完成前后两帧检测目标与跟踪轨迹之间的IOU匹配后对已经连续三 帧确 认匹配的tr acks变更为确定态， 对确定态的tr acks进行特征更新， 并对卡尔曼滤波状态进 行更新， 对于依然未匹配到的tr acks直接删除， 对未匹配到的检测目标创建新的tr acks并 进行初始化； 读入第四帧， YOLOV5检测后将检测信息输入到DeepSORT跟踪器中， 并使用步骤3.2中的 特征提取模块对YOLOV5检测到的目标进 行特征提取， 并利用tracks中的卡尔曼滤波信息以 及特征信息， 以及步骤3.4中马氏距离、 余弦距离以及匈牙利算法组合的级联匹配算法， 将 处于确认态的tracks与当前帧中所提取到的目标特征进 行匹配， 对已匹配的之前为确认态 的tracks更新特征集以及卡尔曼滤波状态， 对已匹配的之前为未确认态的tracks 匹配命中权　利　要　求　书 2/3 页 3 CN 114529799 A 3