(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111656453.6 (22)申请日 2021.12.31 (71)申请人 福州大学 地址 362251 福建省泉州市晋 江市金井镇 水城路1号福州大 学晋江科教园 (72)发明人 黄立勤　靳晓槟　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 代理人 郭东亮　蔡学俊 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 20/40(2022.01) (54)发明名称 一种基于对比学习的多目标跟踪方法 (57)摘要 本发明一种基于对比学习的多目标跟踪方 法， 包括以下步骤； 步骤S1、 从视频的邻域帧中选 择两帧图像用于训练； 步骤S2、 将两帧图像输入 共享权重的DLA ‑34骨干网络提取特征； 步骤S3、 将提取到的高分辨率特征图输入到检测分支和 Re‑ID分支； 检测 分支得到检测结果， Re ‑ID分支 得到检测的重识别嵌入向量； 步骤S4、 根据真值 中心点热力图的置信度评分筛选正负样本； 步骤 S5、 使用前后两帧图像的重识别嵌入向量的正负 样本进行网络模型的对比学习； 步骤S6、 以训练 出的网络模 型对视频进行多目标跟踪； 本发明能 解决多目标跟踪任务中目标外观相似性学习不 充分的问题， 同时在匹配过程采用更加简单的实 现方法。 权利要求书4页 说明书8页 附图3页 CN 114419151 A 2022.04.29 CN 114419151 A 1.一种基于对比学习的多目标跟踪方法， 其特征在于： 所述跟踪方法依据中心点热力 图置信度筛选出正样本和负样本的重识别嵌入向量， 使用前后两帧图像的重识别嵌入向量 的正负样本进 行用于视频跟踪的网络模型的对比学习， 使用带非参数和交叉熵来优化学习 重识别嵌入向量， 包括以下步骤； 步骤S1、 从视频的邻域帧中选择两帧图像用于训练； 步骤S2、 将两帧图像输入 共享权重的DLA‑34骨干网络提取 特征； 步骤S3、 将提取到的高分辨率特征图输入到检测分支和Re ‑ID分支； 检测分支得到检测 结果， Re‑ID分支得到检测的重识别嵌入向量； 步骤S4、 根据真值中心点热力图的置信度评分筛 选正负样本； 步骤S5、 使用前后两帧图像的重识别嵌入向量的正负 样本进行网络模型的对比学习； 步骤S6、 以训练出的网络模型对视频进行多目标跟踪。 2.根据权利要求1所述的一种基于对比学习的多目标跟踪方法， 其特 征在于： 所述步骤S1包括以下方法： 首先， 从视频中选取一帧图像作为关键帧K∈RW×H×3， 其中W 和H分别为图像的宽和高， 然后在该关键帧的邻域内选择一帧图像作为推理帧I∈RW×H×3， 邻 域距离限制为 k∈[‑3， 3]的帧数 范围； 所述步骤S2包括以下方法： 将两帧图片输入共享权重的DLA ‑34骨干网络， 提取出高分 辨率的特征图 所述步骤S3包括以下方法： 将特征图F输入到检测分支和Re ‑ID分支， 所述检测分支和 Re‑ID分支共享权 重。 3.根据权利要求2所述的一种基于对比学习的多目标跟踪方法， 其特征在于： 所述步骤 S3中， 检测分支包括三个网络头， 分别预测中心点热力图 中心点偏移量 以及目标尺寸 三个网络头都是由一个3 ×3的卷积加上一个1 ×1 的卷积组成。 表示中心点热力图中的(x， y)位置是物体关键点的置信度， 表示中 心点热力图的(x， y)处是一个被检测到的物体的关键点， 表示中心点热力图的(x， y)处是背景； 步骤S3中对数据预处理以便用于训练， 具体方法为： 使用标准的数据增强方法对图片 进行预处理， 包括旋转、 缩放比例以及颜色抖动； 对每个物体的真值关键点p∈R2计算下采 样后的坐标 用于训练， 在下采样的图像中将真值关键点以 的形式， 用 一个高斯核 将关键点分布到中心点热力图上， 其中σp是一个 与目标大小(W和H)相关的标准差， 所述中心点热力图预测的损失函数使用Focal  loss的形式：权　利　要　求　书 1/4 页 2 CN 114419151 A 2α和β 是FocalLoss的超参数， 文中设置α＝2， β ＝4， N是图像中目标的数量。 目标中心的 偏置损失使用L1  loss的形式： 用左上角坐标和右下角坐标 定义目标k， 所属类别为Ck， 它的中心 点为 计算经过下采样后目标的尺寸 定 义预测的目标尺寸 为 定义目标尺寸损失如下： 定义检测部分的损失函数为中心点预测的损失、 中心点偏置损失和尺寸的损失的加权 和： Ldet＝Leat+Lsize+Loff     公式五； Re‑ID分支输出一张特征图 Ex， y∈R1×1×128表示在热力图的位置(x， y)上 的对应Re ‑ID嵌入向量。 4.根据权利要求3所述的一种基于对比学习的多目标跟踪方法， 其特征在于： 所述步骤 S4中， 使用一个3x3的最大池化操作筛选出真值热力图上的局部峰值点， 根据真值热力图置 信度得分将这些局部峰值点划分为10个区间， 每个区间中的候选采样数为Mk， 每个区间中 样本被选中的概 率为： 若真值热力图(x， y)位置上Yxy＞0.3则定义为该位置对应的目标的正样本， 若 真值热力 图(x， y)位置上Yxy＜0.05则定义为负样本， 在真值热力图上采样128个正样本和128个负样 本， 正负样本的比例为1:1， 对正负 样本对应位置上的Re ‑ID嵌入向量进行对比学习。 5.根据权利要求4所述的一种基于对比学习的多目标跟踪方法， 其特征在于： 所述步骤 S5中， 设给定的关键图上有V个正样 本用于训练， 推理图上有 K个样本用作对比目标， 则对于 每个训练样本， 使用带非参数softmax和交叉熵来优化Re ‑ID嵌入向量的学习， 公式为： 其中v为训练样本的特征嵌入向量， k+为K中的正目标样本特征嵌入向量， k‑为K中的负 目标样本特 征嵌入向量。 总体损失为所有训练样本的损失的均值， 公式七只表达了只有一个相关的正样本情况 下的 损失 ； 考 虑 多 个 正 样 本的 情 况 下 ， 把 公 式 七 修改 为 更 加通 用的 形 式 ：权　利　要　求　书 2/4 页 3 CN 114419151 A 3