(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211067913.6 (22)申请日 2022.09.01 (71)申请人 湘潭大学 地址 411105 湖南省湘潭市雨湖区湘潭大 学 (72)发明人 周彦　陈俊宇　王冬丽　杜镇楠　 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多特征融合增强的行人多目标跟 踪算法 (57)摘要 本发明公开了一种基于多特征融合增强的 行人多目标跟踪算法， 该算法将特征提取、 目标 检测、 数据关联三大模块集成于一个网络架构。 本算法首先通过以连续两帧作为一个链节点作 为输入， 为了对resnet50骨干网进行加 强， 将传 统卷积替换为Inception卷积， 增强特征提取网 络的感受野； 为了增强对目标形变的适应性， 将 提取的特征经过加权双向金字塔融合处理， 对重 要的特征信息进行更多地关注； 为了让网络对拥 挤场景下的行人目标进行更好地处理， 通过加入 上下文敏感预测模块到网络中， 将更宽和更深的 卷积预测模块放置在具有不同步长层的顶部来 对信息进行增强； 最后回归出相邻帧中的相同目 标边界框对并在公共帧中进行相似度对比， 使用 IOU匹配来进行数据关联， 输 出跟踪轨迹。 本发明 算法提高了多目标跟踪的精度， 可满足视频监控 领域对行 人目标跟踪的需求。 权利要求书2页 说明书4页 附图3页 CN 115457082 A 2022.12.09 CN 115457082 A 1.一种基于多特征融合增强的行人多目标跟踪算法， 其特征在于， 所述算法包括以下 步骤： S1、 对行人视频集的视频帧序列进行图像预处 理， 进行提取 特征信息； S2、 在提取到的特 征信息需要 进一步特征融合， 获得 更丰富的目标 特征； S3、 使用上下文敏感预测模块， 能很好的处理拥挤场景下的行人目标， 对信息进行增 强。 S4、 计算出相邻帧中同一目标的回归框对， 并进行IOU相似度匹配， 输出跟踪轨 迹。 2.根据权利要求1所述的多特征融合增强的行人多目标跟踪算法， 其特征在于， 所述的 步骤S1中图像预处理包括了提取特征信息的改进， 加入了Incept ion卷积来代 替传统卷积， 以更灵活的搜索空间来加强感知区域， 可提升 GNN的搜索能力， 使得模 型能够具备将有效感 受野。 3.根据权力要求2所述的行人多目标跟踪算法， 其特征在于， 所述步骤改进特征信 息提 取， 采用I nception卷积为： 式中， 和 是滤波器在第i个输出通道上x轴和y轴上从1到dmax的膨胀， Cout为输出通 道数。 4.根据权利要求1所述的多特征融合增强的行人多目标跟踪算法， 其特征在于， 所述步 骤S2中特征融合包括了加权双向特征金字塔结构 。 首先， 删除只有一个输入的节点， 如果一 个节点只存在一个输入边界， 那么该节点在特征融合的过程并没有很大作用， 删除多余的 节点可以简化网络； 第二， 在原始输入节点和输出节点直接增加一条边， 在不增加太多计算 成本的情况下融合更多有用的特征信息； 第三， 采用自上而 下和自下而 上的多尺度融合， 多 次重复堆叠能有效地学习到不同特 征的重要性， 实现更高层次的特 征融合。 5.根据权力要求4所述的行人多目标跟踪算法， 其特征在于， 所述步骤改进特征融合， 采用加权双向特征金字塔。 多尺度特征层 其中 表示li的特征， 通过一个聚合 不同特征的操作f， 并输出新特 征 以第6层为例， 计算公式为： 式中， 为自上而下的中间特征， 为自下而上的输出特征， 设定ε＝0.0001， 以避免 计算过程中数值 不稳定， 其 余特征均采用类似的操作方式来计算。 6.根据权利要求1所述的多特征融合增强的行人多目标跟踪算法， 其特征在于， 所述步 骤S3中包括了上下文 敏感预测模块。 在拥挤的场景下， 行人目标在外观上差异 不易区分， 通 过将更宽和更深的卷积预测模块放置在具有不同步长层的顶部来增加感受野， 从而使 预测 模块获得 更好的分类和本地 化功能， 对信息进行增强。 7.根据权利要求1所述的多特征融合增强的行人多目标跟踪算法， 其特征在于， 所述步权　利　要　求　书 1/2 页 2 CN 115457082 A 2骤S4中是形成最 终的跟踪轨迹， 具体表现在相邻帧中的同一目标回归框对进 行IOU匹配， 相 似度高的目标便可确认为同一目标， 输出跟踪轨 迹。权　利　要　求　书 2/2 页 3 CN 115457082 A 3