(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111663438.4 (22)申请日 2021.12.3 0 (71)申请人 上海幻电信息科技有限公司 地址 201203 上海市浦东 新区中国 （上海） 自由贸易试验区祖冲之路2277弄1号 905、 906室 (72)发明人 褚宏琳　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 代理人 李东海 (51)Int.Cl. G06T 7/246(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01) (54)发明名称 目标跟踪方法及装置 (57)摘要 本申请提供目标跟踪 方法及装置， 其中所述 目标跟踪方法包括： 获取待跟踪 图像； 将所述待 跟踪图像输入训练好的目标跟踪模 型， 得到所述 待跟踪图像的目标跟踪结果； 其中， 所述目标跟 踪模型包括 分类分支和回归分支， 所述目标跟踪 模型基于回归样本和分类样本对预设神经网络 训练得到， 所述回归样本根据通过所述分类分支 得到的初始样本的初始分类损失确定， 所述分类 样本根据通过所述回归分支得到的所述初始样 本的初始回归损失确定。 有效地保证了在训练过 程中实现分类和回归结果地对齐， 从而提高目标 跟踪模型的鲁棒性和精确度， 并有效地提高使用 目标跟踪 模型进行目标跟踪的效率和准确度。 权利要求书4页 说明书22页 附图5页 CN 114299119 A 2022.04.08 CN 114299119 A 1.一种目标跟踪方法， 其特 征在于， 包括： 获取待跟踪图像； 将所述待跟踪图像输入训练好的目标跟踪模型， 得到所述待跟踪图像的目标跟踪结 果； 其中， 所述目标跟踪模型包括分类分支和回归分支， 所述目标跟踪模型基于回归样本 和分类样本对预设神经网络训练得到， 所述回归样本根据通过所述分类分支得到的初始样 本的初始分类损失确定， 所述分类样本根据通过所述回归分支得到的所述初始样本的初始 回归损失确定 。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述待跟踪图像输入训练好的目标 跟踪模型之前， 还 包括： 获取训练图像组， 将所述训练图像组输入预设神经网络， 得到搜索图像中各初始样本 的初始分类损失和初始 回归损失， 所述预设神经网络包括分类分支和回归分支， 所述训练 图像组包括模板图像和搜索图像； 基于所述搜索图像， 根据所述各初始样本的初始分类损 失确定回归样本集， 根据所述 各初始样本的初始回归损失确定分类样本集， 所述回归样本集包括携带有回归标签的回归 样本， 所述分类样本集包括携带有分类标签的分类样本； 根据各分类样本的分类标签和所述分类分支的分类预测结果， 以及各回归样本的回归 标签和所述回归分支的定位预测结果， 计算总训练损失； 基于所述总训练损 失， 调整所述预设神经网络的网络参数， 返回执行所述获取训练图 像组的步骤； 在达到预设停止条件的情况 下， 停止训练， 得到目标跟踪模型。 3.根据权利要求2所述的方法， 其特征在于， 所述根据各分类样本的分类标签和所述分 类分支的分类预测结果， 以及各回归样本的回归标签和所述回归分支的定位预测结果， 计 算总训练损失， 包括： 基于所述各分类样本的分类标签和所述分类分支的分类预测结果， 获得更新分类损 失， 基于所述各回归样本的回归标签和所述回归分支的定位预测结果， 获得 更新回归损失； 根据所述更新分类损失和更新回归损失， 计算总训练损失。 4.根据权利要求3所述的方法， 其特征在于， 所述更新分类损失包括分类损失和中心质 量损失， 所述更新回归损失包括定位损失和定位质量损失； 所述基于所述各分类样本的分类标签和所述分类分支的分类预测结果， 获得更新分类 损失， 基于所述各回归样本的回归标签和所述回归分支的定位预测结果， 获得更新回归损 失， 包括： 基于所述各分类样本的分类标签和所述分类分支的分类预测结果中的分类权值， 计算 分类损失； 基于各分类标签， 确定所述各分类样本的中心质量真值， 根据所述各分类样本的中心 质量真值和所述分类分支的分类预测结果中的中心质量权值， 计算中心质量损失； 基于所述各回归样本的回归标签和所述 回归分支的定位预测结果中的预测框， 计算定 位损失； 基于各回归标签， 确定所述各回归样本中正回归样本的真值框， 根据所述正回归样本权　利　要　求　书 1/4 页 2 CN 114299119 A 2的真值框， 以及所述回归分支的定位预测结果中的定位权值， 计算定位质量损失。 5.根据权利要求2所述的方法， 其特征在于， 所述各初始样本 中包括至少一个正初始样 本和至少一个负初始样本； 所述基于所述搜索图像， 根据所述各初始样本的初始分类损失确定回归样本集， 包括： 基于所述搜索图像， 将各正初始样本的初始分类损失分别与第一预设阈值进行比较； 将所述初始分类损失小于所述第一预设阈值的正初始样本确定为 正回归样本； 将所述初始分类损失大于或等于所述第 一预设阈值的正初始样本， 以及负初始样本确 定为负回归样本 。 6.根据权利要求2或5所述的方法， 其特征在于， 所述各初始样本中包括至少一个正初 始样本和至少一个负初始样本； 所述基于所述搜索图像， 根据所述各初始样本的初始回归损失确定分类样本集， 包括： 基于所述搜索图像， 将各正初始样本的初始回归损失分别与第二预设阈值进行比较； 将所述初始回归损失小于所述第二预设阈值的正初始样本确定为 正分类样本； 将所述初始回归损失大于或等于所述第 二预设阈值的正初始样本， 以及负初始样本确 定为负分类样本 。 7.根据权利要求2所述的方法， 其特征在于， 所述模板 图像包括多个特征图点， 所述搜 索图像包 含标注框； 所述基于所述搜索图像， 根据所述各初始样本的初始分类损 失确定回归样本集之前， 还包括： 针对所述多个特征图点中的任意一个特征图点， 判断该特征图点在所述搜索图像 中对 应的初始样本的采样点是否落在所述标注框内； 若是， 则确定该初始样本为 正初始样本； 若否， 则确定该初始样本为负初始样本 。 8.根据权利要求1所述的方法， 其特 征在于， 还 包括： 获取测试图像， 将所述测试图像输入所述目标跟踪模型， 得到所述测试图像中目标的 分类预测结果和定位预测结果， 所述分类预测结果包括分类权值和中心质量权值， 所述定 位预测结果包括预测框和所述预测框的定位质量权值； 根据所述分类权值、 所述中心质量权值以及所述定位质量权值， 计算各预测框的预测 权值； 根据所述各 预测框的预测权值， 从所述各 预测框中确定目标框 。 9.根据权利要求8所述的方法， 其特征在于， 所述将所述测试图像输入所述目标跟踪模 型， 得到所述测试图像中目标的分类预测结果和定位预测结果， 包括： 将所述测试图像输入所述目标跟踪模型的分类分支， 得到所述测试图像中目标的分类 权值和中心质量权值； 将所述测试图像输入所述目标跟踪模型的回归分支， 得到所述测试图像中目标的预测 框； 根据所述目标的真值框， 以及所述目标的定位预测结果中的所述预测框， 计算定位质 量误差； 根据所述定位质量 误差， 确定所述定位预测结果中所述预测框的定位质量权值。权　利　要　求　书 2/4 页 3 CN 114299119 A 3