(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210724437.4 (22)申请日 2022.06.24 (71)申请人 北京理工大 学重庆创新中心 地址 401120 重庆市渝北区龙兴镇曙光路9 号9幢 (72)发明人 许廷发　王颖　李佳男　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 阳佑虹 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/80(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于关键点深度存在概率图投票的目标跟 踪方法及系统 (57)摘要 本发明提供了一种基于关键点深度存在概 率图投票的目标跟踪 方法及系统， 首先将模板帧 和跟踪帧同时输入关键点生 成模块， 生成关键点 存在概率图， 进而输出五个关键点位置， 依据关 键点存在概率图输出五个关键点的位置； 输出的 五个关键点经由目标框生成模块输出六个可能 的目标框及其对应概率并对目标框进行筛选； 最 终由目标框投票模块进行投票， 输出最终的目标 位置。 本发 明通过输出五个关键点的存在概率图 充分获取目标信息， 增加特征的鲁棒性， 减弱了 误差的影 响， 同时通过计算每个目标框权重对参 与投票的目标框进行加权融合， 在信息的增加， 产生可能投票框增加的情况下， 更加准确的获得 目标位置 。 权利要求书2页 说明书5页 附图2页 CN 115393391 A 2022.11.25 CN 115393391 A 1.一种基于关键点深度存在概 率图投票的目标跟踪方法， 其特 征在于， 包括： S1： 获取模板帧和跟踪帧， 输入至深度网络模型中， 生成五个关键点特征图并输出关键 点坐标； S2： 基于各关键点坐标， 进行两两组合， 生成无重叠的目标框， 并对生成的目标框进行 筛选； S3： 根据筛 选后得到的目标框进行投票计算， 得到最终的目标包围框 。 2.根据权利要求1所述的目标跟踪方法， 其特 征在于， 步骤S1， 具体过程如下： S101： 基于孪生或Transformer深度网络结构构建深度网络模型， 对网络模型头部通过 卷积堆叠、 上采样 操作， 以调整特 征尺寸， 使头 部输出五张关键点存在概 率图； S102： 构造五个与存在概率 图相同大小的全零矩阵， 分别在每个矩阵的关键点坐标处 相加二维高斯 函数来构造真值； S103： 利用二分类损失函数计算存在概率图与真值之间的差异， 训练输出五张关键点 存在概率图的网络模型； S104： 基于训练好的网络模型， 输入模板帧和跟踪帧， 输出五张关键点存在概率 图， 选 取存在概 率图中最大值的位置作为该关键点 位置， 分别输出五个关键点 坐标。 3.根据权利要求2所述的目标跟踪方法， 其特征在于， 步骤S101中， 所述五张关键点存 在概率图， 分别表示目标左上点、 右下点、 左下点、 右上点和中心点的存在概 率。 4.根据权利要求1所述的目标跟踪方法， 其特征在于， 步骤S2中， 在生成目标框之后， 还 包括计算所述目标框的两两交并比矩阵， 获得每个目标框与其余目标框的两两交并比之 和， 用于目标框 筛选。 5.根据权利要求 4所述的目标跟踪方法， 其特 征在于， 步骤S2， 具体过程如下： S201： 基于输出的五个关键点坐标Pi(xi,yi),i∈(A～E)， 将其两两组合生成六个无重 叠的目标框Bm(xm,ym,wm,hm),m∈{AD,BC,AE,BE,CE,DE}， 其中(xm,ym)表示包围框 的中心， (wm,hm)表示包围框的宽和高； S202： 计算六个可能目标框Bm的两两交并比矩阵， 对矩阵横向求和， 得到每个目标框与 其余目标框的两 两交并比之和， 用于目标框 筛选； S203： 设定筛选值l， 选取交并比之和前l的目标框， 并对选取 得到的目标框， 进行投票。 6.根据权利要求5所述的目标跟踪方法， 其特征在于， 所述筛选值l为步骤S201得到的 目标框数量的一半。 7.根据权利要求1所述的目标跟踪方法， 其特 征在于， 步骤S3， 具体过程如下： S301： 计算每 个参与投票的目标框的投票权 重， 投票权 重与目标框 本身属性相关； S302： 基于目标框投票权 重对目标框进行加权得到最终的目标包围框 。 8.根据权利要求7 所述的目标跟踪方法， 其特 征在于， 步骤S3 01， 具体为： 将关键点的质量定义为该点在存在概率图中对应的数值， 则 每个框的得分为构 成该框 的两点得分之和， 将归一 化处理后的目标框的质量作为对应目标框的投票权 重。 9.一种基于关键点深度存在概率图投票的目标跟踪系统， 其特征在于， 包括关键点生 成模块、 目标框生成模块以及目标框投票模块； 所述关键点生成模块基于模板帧和跟踪帧获得关键点的存在概率图， 并根据关键点的 存在概率图获得五个关键点 坐标；权　利　要　求　书 1/2 页 2 CN 115393391 A 2所述目标框生成模块用于对五个关键点坐标进行两两组合， 生成六个无重叠的目标 框， 计算六个无重叠的目标框的两两交并比矩阵， 对矩阵横向求和， 得到每个目标框与其余 目标框的两 两交并比之和， 并基于交并比之和进行筛 选； 所述目标框投票模块用于计算参与投票的目标框的投票权重， 基于目标框投票权重对 目标框进行加权得到最终的目标包围框 。 10.根据权利要求9所述的目标跟踪系统， 其特征在于， 所述关键点生成模块， 通过将模 板帧和跟踪帧输入到头部输出为 五张关键点存在概率图的深度学习网络模 型中， 获得关键 点的存在概率图， 并在与存在概率图相同大小的全零矩阵的关键点坐标 处相加二 维高斯函 数来构造真值， 通过降低存在概率图与真值之间的损失训练深度网络模型参数， 并在跟踪 时， 对每张存在概 率图选取最大值的位置作为该关键点 位置， 输出五个关键点 坐标。权　利　要　求　书 2/2 页 3 CN 115393391 A 3