(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210689366.9 (22)申请日 2022.06.17 (71)申请人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 孔军　刘加林　蒋敏　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 张荣 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于核空间和隐式空间特征对齐的多 目标跟踪方法 (57)摘要 本发明所提供的一种多目标跟踪方法首先 对于共享特征， 在通道维度完成全局平均池化， 计算得到共享语义向量， 并将这个共享语义向量 通过维度变换分别获得一个代表浅层语义信息 的低维向量和一个代表深层语义信息的高维向 量。 紧接着， 通过乱序重排， 高低维度向量 分裂和 重组等操作解耦共享语义向量， 获得适配检测分 支和重识别分支的高低维度对齐语义向量。 最 后， 与共享特征加权求和， 获得多维度语义对齐 的检测特征和重识别特征。 通过本发 明提出的多 维语义对齐模块， 两个子分支任务将浅层和深层 维度的语义特征对齐， 并进行了独立的选择， 有 效地缓解了联合优化过程中对特征关注焦点位 置的竞争。 权利要求书3页 说明书11页 附图5页 CN 115272404 A 2022.11.01 CN 115272404 A 1.一种多目标跟踪方法， 其特 征在于， 包括： 获取当前视频帧图像， 并计算所述当前视频帧图像的共享特 征； 在通道维度对所述共享特 征进行全局平均池化， 得到共享语义特 征向量； 将所述共享语义特征向量通过维度变换获得一个代表浅层语义信息的低维向量和一 个代表深层语义信息的高维向量； 对通道乱序重排后的低维向量和高维向量进行分裂和重组操作， 得到分别适配检测分 支和适配重识别分支的同时具有浅层和深层语义信息的多维语义向量； 将适配检测分支的多维语义向量和适配重识别分支的多维语义向量分别通过两组参 数独立的全连接层、 归一池化操作和Sigmo id激活函数处 理， 完成多维语义向量的对齐； 将对齐后的两个多维语义向量分别与共享特征加权求和， 获得多维度语义对齐的检测 特征和重识别特 征； 根据所述检测特 征和重识别特 征计算得到当前帧检测框和当前帧外观嵌入向量； 判断所述当前视频帧图像是否为第一帧， 若不是第一帧， 则将所述当前帧检测框和所 述当前帧外观嵌入向量与历史帧轨 迹进行匹配关联； 继续处理下一视频帧图像， 直至 视频结束。 2.根据权利要求1所述的多目标跟踪方法， 其特征在于， 所述对通道乱序重排后的低维 向量和高维向量进行分裂和重组操作， 得到分别适配检测分支和适配重识别分支的同时具 有浅层和深层语义信息的多维语义向量包括： 通过四个独立参数的全连接操作对所述通道乱序重排后的低维向量和高维向量分别 采样， 得到适配检测分支的浅层语义向量和深层语义向量以及适配重识别分支的浅层语义 向量和深层语义向量； 分别对所述适配检测分支的浅层语义向量和深层语义向量以及所述适配重识别分支 的浅层语义向量和深层语义向量进行组合， 得到所述分别适配检测分支和适配重识别分支 的同时具有浅层和深层语义信息的多维语义向量。 3.根据权利要求1所述的多目标跟踪方法， 其特征在于， 所述将对齐后的两个多维语义 向量分别与共享特 征加权求和， 获得多维度语义对齐的检测特 征和重识别特 征后包括： 将所述重识别特 征在空间维度的两个方向上进行轴向池化， 得到 两个轴向特 征； 将所述两个轴向特 征沿着通道维度方向进行聚合， 得到聚合特 征； 将所述聚合特征输入空间对齐模块中完成局部和全局信 息的一致性对齐， 得到聚合对 齐特征； 将所述聚合对齐特 征沿着通道维度的方向分裂成两个轴向对齐特 征； 将所述两个轴向对齐特征经过线性变换和激活函数操作后先后与所述重识别特征加 权融合， 再与所述重识别特 征残差连接， 得到跨区域对齐的重识别特 征。 4.根据权利要求3所述的多目标跟踪方法， 其特征在于， 所述将所述聚合特征输入空间 对齐模块中完成局部和全局信息的一 致性对齐， 得到聚合对齐特 征包括： 将所述聚合特征沿着聚合通道分组乱序重排， 并经过两个全连接和激活函数操作完成 空间轴向特 征对齐； 将空间轴向特征对齐后的聚合特征沿空间轴向维度进行移位操作， 并经过两个全连接 和激活函数操作完成跨区域轴向特 征对齐；权　利　要　求　书 1/3 页 2 CN 115272404 A 2将所述跨区域轴向特征对齐后的聚合特征通过移位恢复和组恢复得到所述聚合对齐 特征。 5.根据权利要求1所述的多目标跟踪方法， 其特征在于， 所述根据 所述检测特征和重识 别特征计算得到当前帧检测框和当前帧外观嵌入向量包括： 根据所述检测特征计算得到热力图张量、 偏移分支张量和大小分支张量， 进而得到所 述当前帧检测框； 根据所述重识别特 征计算得到 外观嵌入张量， 并提取 得到当前帧外观嵌入向量。 6.根据权利要求5所述的多目标跟踪方法， 其特征在于， 所述根据 所述检测特征和重识 别特征计算得到当前帧检测框和当前帧外观嵌入向量后包括： 将所述热力图张量、 所述偏移分支张量和所述大小分支张量 合并， 得到合并特 征； 将所述当前帧外观嵌入向量进行线性变换和激活函数操作得到流行空间的第一投影 向量和第二投影向量； 将所述合并特征与 所述第一投影向量相乘， 并进行线性变换和激活函数操作得到检测 特征和重识别特 征对齐的合并特 征； 将所述检测特征和重识别特征对齐的合并特征与 所述第二投影向量相乘， 得到关联信 息对齐的检测向量； 将所述关联信息对齐的检测向量进行拆解， 得到关联信息对齐的热力图张量、 偏移分 支张量和大小分支张量， 进 而得到流形空间投影对齐的当前帧检测框 。 7.根据权利要求1所述的多目标跟踪方法， 其特征在于， 所述将所述当前帧检测框和所 述当前帧外观嵌入向量与历史帧轨 迹进行匹配关联包括： 计算当前帧所有目标和历史帧目标的重识别嵌入亲和度矩阵， 并结合卡尔曼滤波， 为 轨迹关联加入运动模型的约束； 利用匈牙利算法求 解最优匹配， 更新当前帧目标轨 迹状态； 利用IOU距离对未匹配的目标进行 再匹配， 更新当前帧目标轨 迹状态。 8.一种多目标跟踪的装置， 其特 征在于， 包括： 共享特征计算模块， 用于获取当前视频帧图像， 并计算所述当前视频帧图像的共享特 征； 共享语义特征向量计算模块， 用于在通道维度对所述共享特征进行全局平均池化， 得 到共享语义特 征向量； 维度变换模块， 用于将所述共享语义特征向量通过维度变换获得一个代表浅层语义信 息的低维向量和一个代 表深层语义信息的高维向量； 多维语义向量计算模块， 用于对通道乱序重排后的低维向量和高维向量进行分裂和重 组操作， 得到 分别适配检测分支和适配重识别分支的同时具有浅层和深层语义信息的多维 语义向量； 多维语义向量对齐模块， 用于将适配检测分支的多维语义向量和适配重识别分支的多 维语义向量分别通过两组参数独立的全连接层、 归一池化操作和Sigmoid激活函数处理， 完 成多维语义向量的对齐； 检测特征和重识别特征计算模块， 用于将对齐后的两个多维语义向量分别与共享特征 加权求和， 获得多维度语义对齐的检测特 征和重识别特 征；权　利　要　求　书 2/3 页 3 CN 115272404 A 3