(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111671961.1 (22)申请日 2021.12.31 (71)申请人 安徽大学 地址 230000 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 鲍华　束平　章洪潮　李亲　 邹文杰　 (74)专利代理 机构 合肥正则元起专利代理事务 所(普通合伙) 3416 0 代理人 连泽彪 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 融合显著信息和多粒度上下文特征的目标 跟踪方法及系统 (57)摘要 本发明公开了一种融合显著信息和多粒度 上下文特征的目标跟踪 方法及系统， 该系统包括 孪生子神经网络、 多分支融合模块、 全局上下文 模块、 注意力图模块、 深度互相关模块和目标位 置确定模块。 运用该系统可以提取模板图片的多 个特征作为模板分支特征， 提取搜索图片的多个 特征作为搜索分支特征； 根据模板分支特征得到 模板特征； 根据搜索分支特征得到搜索特征； 根 据搜索特征和模板特征， 得到搜索特征的注意力 图和模板 特征的注意力图； 将模板特征的注意力 图和搜索特征的注意力图进行深度互相关得到 得分图； 将得分图进行分类和回归操作， 确定目 标在搜索图片中的位置。 避免了在 跟踪目标的过 程中出现遮挡、 形变和旋转等情况时， 可能会出 现丢失目标的情况。 权利要求书2页 说明书10页 附图5页 CN 114332488 A 2022.04.12 CN 114332488 A 1.融合显著信息和多粒度上下文特征的目标跟踪系统， 其特征在于， 包括孪生子神经 网络、 多分支融合模块、 全局上下文模块、 注意力图模块、 深度 互相关模块和目标位置确定 模块， 其中： 所述孪生子神经网络， 用于获取模板 图片和搜索图片， 提取所述模板 图片的多个特征 作为模板分支特征， 提取所述搜索图片的多个特征作为搜索分支特征； 所述模板图片包含 需要跟踪的目标的外观信息； 所述搜索图片为包 含所述目标的图片； 所述多分支融合模块， 用于根据所述模板分支特 征得到所述模板图片的模板特 征； 所述全局上 下文模块， 用于根据所述搜索分支特 征得到所述搜索图片的搜索特 征； 所述注意力图模块， 用于根据所述搜索特征和所述模板特征， 得到所述搜索特征的注 意力图和所述模板特 征的注意力图； 所述深度互相关模块， 用于将模板特征的注意力图和搜索特征的注意力图进行深度互 相关得到得分图； 所述目标位置确定模块， 用于将所述得分图进行分类和回归操作， 确定所述目标在所 述搜索图片中的位置 。 2.融合显著信息和多粒度上下文特征的目标跟踪方法， 其特征在于， 所述方法应用于 孪生神经网络， 所述方法包括： 获取模板 图片和搜索图片， 提取所述模板 图片的多个特征作为模板分支特征， 提取所 述搜索图片的多个特征作为搜索分支特征； 所述模板图片包含需要跟踪的目标的外观信 息； 所述搜索图片为包 含所述目标的图片； 根据所述模板分支特 征得到所述模板图片的模板特 征； 根据所述搜索分支特 征得到所述搜索图片的搜索特 征； 根据所述搜索特征和所述模板特征， 得到所述搜索特征的注意力图和所述模板特征的 注意力图； 将模板特 征的注意力图和搜索特 征的注意力图进行深度互相关得到得分图； 将所述得分图进行分类和回归操作， 确定所述目标在所述搜索图片中的位置 。 3.根据权利要求2所述的方法， 其特征在于， 所述孪生神经网络包含孪生子神经网络， 所述获取模板图片和搜索图片， 提取所述模板图片的多个特征作为模板分支特征， 提取所 述搜索图片的多个特 征作为搜索分支特 征， 包括： 通过所述孪生子神经网络获取模板图片和搜索图片； 所述搜索图片的尺寸大于所述模 板图片的尺寸； 将所述模板图片输入所述孪生子神经网络的ResNet50 网络， 得到所述模板图片的向量 卷积运算特征、 二维矩阵卷积运算特征、 三维矩阵卷积运算特征、 四维矩阵卷积运算特征、 五维矩阵卷积运 算特征分别是ft1、 ft2、 ft3、 ft4、 ft5， 作为模板分支特 征； 将所述搜索图片输入所述孪生子神经网络ResNet50网络， 得到所述搜索图片的向量卷 积运算特征、 二维矩阵卷积运算特征、 三维矩阵卷积运算特征、 四维矩阵卷积运算特征、 五 维矩阵卷积运 算特征分别是fs1、 fs2、 fs3、 fs4、 fs5， 作为搜索分支特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述孪生神经网络包含多分支融合模块， 所述根据所述模板分支特 征得到所述模板图片的模板特 征， 包括： 将模板分支特 征的ft3、 ft4、 ft5特征进行通道压缩得到特 征fn3、 fn4、 fn5；权　利　要　求　书 1/2 页 2 CN 114332488 A 2将模板分支特 征的ft2特征经过所述多分支融合模块得到包 含不同感受野的特 征fn2； 将fn3、 fn4、 fn5分别与fs2相加并进行中心裁剪操作， 得到所述模板图片的模板特征Ft3、 Ft4、 Ft5。 5.根据权利要求4所述的方法， 其特征在于， 所述孪生神经网络包含全局上下文模块， 所述根据所述搜索分支特 征得到所述搜索图片的搜索特 征， 包括： 将搜索分支特 征的fs3、 fs4、 fs5特征进行通道压缩得到特 征fm3、 fm4、 fm5； 将fm3、 fm4、 fm5特征经过所述全局上 下文模块得到 搜索特征Fs3、 Fs4、 Fs5。 6.根据权利要求5所述的方法， 其特征在于， 所述孪生神经网络包含注意力图模块， 所 述根据所述搜索特征和所述模板特征， 得到所述搜索特征的注意力图和所述模板特征的注 意力图， 包括： 将所述模板特征Ft3、 Ft4、 Ft5和所述搜索特征Fs3、 Fs4、 Fs5分别输入所述注意力图模块的 自注意力模块和交叉注意力模块， 得到模板特征的注意力图 和搜索特征的 注意力图 7.根据权利要求6所述的方法， 其特征在于， 所述孪生神经网络包含深度互相关模块， 所述将模板特 征的注意力图和搜索特 征的注意力图进行深度互相关得到得分图， 包括： 通过所述深度互相关模块， 将所述模板特征的注意力图 和所述搜索特征 的注意力图 分别进行深度互相关操作得到得分图φ3、 φ4、 φ5。 8.根据权利要求7所述的方法， 其特征在于， 所述孪生神经网络包含目标位置确定模 块， 所述将所述得分图进行分类和回归操作， 确定所述目标在所述搜索图片中的位置， 包 括： 将所述得分图φ3、 φ4、 φ5分别输入所述目标位置确定模块的分类分支和回归分支； 通过分类分支将所述得分图φ3、 φ4、 φ5， 分别经过卷积核大小为1 ×1、 步长为1的卷 积 ， 得到通道数为2K的 特征 将预设的 可学 习的 权值分 别与 相乘， 得到分类特征 所述分类特征包含所述目标在所述搜索图片 中的前景和背景 特征； 通过回归分支将所述得分图φ3、 φ4、 φ5， 分别经过卷积核大小为1 ×1、 步长为1的卷 积 ， 得到通道数为4k的特征 将预设的可学习的权值分别与 相乘， 得到回归特 征 所述回归特 征包含所述目标的特 征； 根据分类特 征 和回归特 征 确定所述目标在所述搜索图片中的位置 。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执 行存储器上所存放的程序时， 实现权利要求2 ‑8任一所述的方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求2 ‑8任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114332488 A 3