(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210745595.8 (22)申请日 2022.06.29 (65)同一申请的已公布的文献号 申请公布号 CN 114820716 A (43)申请公布日 2022.07.29 (73)专利权人 中兴软件技 术 （南昌） 有限公司 地址 330000 江西省南昌市高新 开发区艾 溪湖北路68 8号 (72)发明人 王成卓　史卓　徐哲贤　包鑫　 朱程铭　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 何世磊 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 108171752 A,2018.0 6.15 CN 111932583 A,2020.1 1.13 CN 110689557 A,2020.01.14 CN 10934 4725 A,2019.02.15 US 2020126241 A1,2020.04.23 陆平 等.基 于深度学习的多目标跟踪算法 研究. 《中兴通讯技 术》 .2017,第23卷(第4期),第 14-19页. 张永梅 等.基 于卷积特 征深度融合的海上 目标跟踪算法. 《计算机 工程与设计》 .2020,第41 卷(第1期),第258-264页. Jian Di et al. .Researc h of Movi ng Target Track ing Technology Based o n LRCN. 《2017 I nternati onal Conference o n Computer System s, Electro nics and Co ntrol (ICCSEC)》 .2017,第789-79 2页. 审查员 龚红丽 (54)发明名称 基于计算机视觉的目标跟踪方法及系统 (57)摘要 本发明公开了一种基于计算机视觉的目标 跟踪方法及系统， 该方法包括： 获取目标视频的 当前图像帧， 采用改进的卷积神经网络模型对所 述当前图像帧进行检测， 输 出目标位置； 采用k邻 域搜索算法， 根据所述目标位置确定目标区域； 采用所述改进的卷积神经网络模型提取所述目 标区域的目标特征， 并将所述目标特征融合为特 征图像， 所述特征图像具有所述预设维度； 将所 述特征图像作为长短期记忆神经网络模型的输 入， 通过所述长短期记忆神经网络模 型对所述特 征图像中目标跟踪框的坐标进行回归， 以输出并 显示目标跟踪框。 本发明能够解决现有技术中， 当跟踪的目标尺寸较小， 且目标被遮挡时， 目标 跟踪的效果较 差的技术问题。 权利要求书3页 说明书7页 附图2页 CN 114820716 B 2022.09.13 CN 114820716 B 1.一种基于计算机 视觉的目标跟踪方法， 其特 征在于， 所述方法包括： 获取目标视频的当前图像帧以及 当前图像帧的上一帧图像帧， 采用改进的卷积神经网 络模型对所述当前图像帧的上一帧图像帧进 行检测， 输出当前图像帧的上一帧图像帧的目 标位置， 所述改进的卷积神经网络模型由输入层、 卷积层、 池化层、 分类器、 特征融合层组 成， 所述改进的卷积神经网络模型使用全局平均池化的方式产生预设尺寸的特征向量， 所 述特征融合层通过目标卷积核先对特征图进行降维， 再将不同特征图在通道上进行叠加， 以生成预设维度的多粒度特 征进行目标检测； 采用k邻域搜索算法， 基于当前图像帧的上一帧图像帧的目标位置确定当前图像帧的 目标区域； 采用所述改进的卷积神经网络模型提取所述目标区域的目标特征， 并将所述目标特征 融合为特征图像， 所述特 征图像具有所述预设维度； 将所述特征图像作为长短期记忆神经网络模型的输入， 通过所述长短期记忆神经网络 模型对所述特 征图像中目标跟踪框的坐标进行回归， 以输出并显示目标跟踪框； 其中， 所述跟踪框和所述目标区域均为矩形； 采用k邻域搜索算法， 基于当前图像帧的上一帧图像帧的目标位置确定当前图像帧的 目标区域的步骤中， 所述目标区域满足以下 条件式： H1/W1=H2/W2=k； 其中， H1表示所述当前图像帧的上一图像帧对应的目标跟踪框的长， W1表示所述当前图 像帧的上一图像帧对应的目标跟 踪框的宽， H2表示所述当前图像帧对 应的目标区域的长， W2 表示所述当前图像帧对应的目标区域的宽， k 为预设的比例系数。 2.根据权利要求1所述的基于计算机视觉的目标跟踪方法， 其特征在于， k的取值范围 为1＜k≤4。 3.根据权利要求1所述的基于计算机视觉的目标跟踪方法， 其特征在于， 所述长短期记 忆神经网络模型的表达式如下： ht=ot*tanh(ft*ct‑1+it*tanh(Wo*[ht‑1, xt]+bo)) 其中，ht表示t时刻的输出值， ot表示所述长短期记忆神 经网络模型中神经元的输出门 的表达式， tanh表示tanh激活函数， ft表示所述长短期记忆神 经网络模型中神 经元的遗忘 门的表达式， ct‑1表示t‑1时刻的候选向量， it表示所述长短期记忆神 经网络模型中神 经元 的输入门的表达式， Wo表示输出门的权重， ht‑1表示t‑1时刻的输出值， xt表示t时刻的输入 值，bo表示输出门的偏置参数。 4.根据权利要求1所述的基于计算机视觉的目标跟踪方法， 其特征在于， 将所述特征图 像作为长短期记忆神经网络模型的输入， 通过所述长短期记忆神经网络模 型对所述特征图 像中目标跟踪框的坐标进行回归， 以输出并显示目标跟踪框的步骤 包括： 将所述特征图像作为长短期记忆神经网络模型的输入， 通过所述长短期记忆神经网络 模型对所述特征图像中目标跟踪框的坐标进行回归， 以得到目标跟踪框的顶点预测坐标 值； 获取目标跟踪框的顶点 坐标参考标准值； 判断所述顶点预测坐标值与所述顶点 坐标参考标准值的差值是否在预设范围内； 若所述顶点预测坐标值与 所述顶点坐标参考标准值的差值在预设范围内， 则 输出并显权　利　要　求　书 1/3 页 2 CN 114820716 B 2示目标跟踪框 。 5.一种基于计算机 视觉的目标跟踪系统， 其特 征在于， 所述系统包括： 获取检测模块， 用于获取目标视频的当前图像帧以及当前图像帧的上一帧图像帧， 采 用改进的卷积神经网络模型对所述当前图像帧的上一帧图像帧进 行检测， 输出当前图像帧 的上一帧图像帧的目标位置， 所述改进的卷积神经网络模型 由输入层、 卷积层、 池化层、 分 类器、 特征融合层组成， 所述改进的卷积神经网络模型使用全局平均池化的方式产生预设 尺寸的特征向量， 所述特征融合层通过目标卷积核先对特征图进行降维， 再将不同特征图 在通道上进行叠加， 以生成预设维度的多粒度特 征进行目标检测； 目标确定模块， 用于采用k邻域搜索算法， 基于当前图像帧的上一帧图像帧的目标位置 确定当前图像帧的目标区域； 特征提取模块， 用于采用所述改进的卷积神经网络模型提取所述目标区域的目标特 征， 并将所述目标 特征融合为特征图像， 所述特 征图像具有所述预设维度； 输入跟踪模块， 用于将所述特征图像作为长短期记忆神经网络模型的输入， 通过所述 长短期记忆神经网络模型对所述特征图像中目标跟踪框的坐标进 行回归， 以输出并显示目 标跟踪框； 其中， 所述跟踪框和所述目标区域均为矩形； 所述目标确定模块采用k邻域搜索算法， 基于当前图像帧的上一帧图像帧的目标位置 确定当前图像帧的目标区域的过程中， 所述目标区域满足以下 条件式： H1/W1=H2/W2=k； 其中， H1表示所述当前图像帧的上一图像帧对应的目标跟踪框的长， W1表示所述当前图 像帧的上一图像帧对应的目标跟 踪框的宽， H2表示所述当前图像帧对 应的目标区域的长， W2 表示所述当前图像帧对应的目标区域的宽， k 为预设的比例系数。 6.根据权利要求5所述的基于计算机视觉的目标跟踪系统， 其特征在于， k的取值范围 为1＜k≤4。 7.根据权利要求5所述的基于计算机视觉的目标跟踪系统， 其特征在于， 所述长短期记 忆神经网络模型的表达式如下： ht=ot*tanh(ft*ct‑1+it*tanh(Wo*[ht‑1, xt]+bo)) 其中，ht表示t时刻的输出值， ot表示所述长短期记忆神 经网络模型中神经元的输出门 的表达式， tanh表示tanh激活函数， ft表示所述长短期记忆神 经网络模型中神 经元的遗忘 门的表达式， ct‑1表示t‑1时刻的候选向量， it表示所述长短期记忆神 经网络模型中神 经元 的输入门的表达式， Wo表示输出门的权重， ht‑1表示t‑1时刻的输出值， xt表示t时刻的输入 值，bo表示输出门的偏置参数。 8.根据权利要求5所述的基于计算机视觉的目标跟踪系统， 其特征在于， 所述输入跟踪 模块具体用于： 将所述特征图像作为长短期记忆神经网络模型的输入， 通过所述长短期记忆神经网络 模型对所述特征图像中目标跟踪框的坐标进行回归， 以得到目标跟踪框的顶点预测坐标 值； 获取目标跟踪框的顶点 坐标参考标准值； 判断所述顶点预测坐标值与所述顶点 坐标参考标准值的差值是否在预设范围内；权　利　要　求　书 2/3 页 3 CN 114820716 B 3