(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210692213.X (22)申请日 2022.06.17 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 叶亮　甄佳玲　陈舒怡　赵炜强　 韩帅　孟维晓　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 岳昕 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 20/70(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于联合学习的多目标跟踪与目标重识别 系统及方法 (57)摘要 基于联合学习的多目标跟踪与目标重识别 系统及方法， 涉及图像识别领域， 是为了解决现 有多目标跟踪与跨域行人重识别方法存在实时 性要求的问题。 本发明提出一种基于联合学习的 多目标跟踪与目标重识别方法与其硬件系统， 该 方法通过监控摄像头(和搭载的嵌入式设备)采 集并处理视频数据， 在多个嵌入式平台上实现多 目标跟踪， 并在某一嵌入式设备出现感兴趣目标 行人时， 提取该目标的跟踪模型并将跟踪模型传 输到监控中心， 监控中心通过有线/无线网络将 该跟踪模型发送至其他嵌入式平台。 本发明同时 提出了改进的多目标跟踪与跨域行人重识别模 型， 能够大幅减小模型的算法复杂度， 提高多目 标跟踪与行 人重识别方法的实时性。 权利要求书2页 说明书14页 附图5页 CN 115100591 A 2022.09.23 CN 115100591 A 1.基于联合学习的多目标跟踪与目标重识别系统， 其特征是： 它包括监控中心、 M个监 控摄像头和M个嵌入式设备， 所述M为 正整数； 所述M个监控摄 像头分布设置在待监控区域； 每个所述监控摄像头均用于采集 其所在待监控的区域的图像信息； 每个所述嵌入式设备内分别嵌入改进的多目标跟踪与跨域行人重识别模型， 每个所述 嵌入式设备均用于处理其所在监控摄像头采集到的图像数据， 所述M个嵌入式设备分别嵌 入所述M个监控摄像头中， 每个所述嵌入式设备还用于将嵌入式设备处理后的对应监控摄 像头的目标跟踪与跨域行人重识别数据通过有线网络或无线网络发送给其它M ‑1个嵌入式 设备； 所述改进的多目标跟踪与跨域行人重识别 模型是利用Ghost模块对现有多目标跟踪与 跨域行人重识别模型的主干网络进行了轻量 化的再设计和构建获得的。 2.根据权利要求1所述的基于联合学习的多目标跟踪与目标重识别系统， 其特征在于 监控中心采用PC 机或服务器实现。 3.根据权利要求1所述的基于联合学习的多目标跟踪与目标重识别系统， 其特征在于 每个监控摄 像头均是固定式监控 装置或移动式监控 装置。 4.基于权利要求1的联合学习的多目标跟踪与目标重识别方法， 其特征是： 在一个时间 周期下， 它包括以下步骤： 步骤一、 将已标记不同编号的M个监控摄像头分别采集待监控的区域的图像信 息； 获得 M张监控摄 像头采集图像； 步骤二、 每个监控摄像头分别通过所述监控摄像头内的嵌入式设备中内嵌入的改进的 多目标跟踪与跨域行人重识别模型对步骤一获得的M张监控摄像头采集图像进行处理， 获 得处理后的M张监控摄像头数据； M个监控摄像头中的某一监控摄像头对感兴趣 行人目标利 用改进的多目标跟踪与跨域行人重识别模型提取跟踪图像数据， 获得 处理后的感兴趣行人 目标的跟踪与跨 域行人重识别图像数据。 步骤三、 步骤二中所述的监控摄像头将步骤二获得的该处理后的处理后的感兴趣行人 目标的跟踪与跨 域行人重识别模型 数据通过有 线网络或无线网络发送给监控中心； 步骤四、 监控中心接收步骤三发送的处理后的感兴趣行人目标的跟踪与跨域行人重识 别模型数据， 并将该 处理后的感兴趣行人目标的跟踪与跨域行人重识别图像数据通过有线 网络或无线网络向其 他M‑1个嵌入式设备发送； 步骤五、 每个所述其他嵌入式设备接收到步骤四跟踪与跨域行人重识别图像数据后， 将其与自身监控范围内检测到的行人进行特征匹配， 若未找出符合要求的跟踪目标的图像 数据， 则结束当前次联合学习的多目标跟踪与目标重识别， 若找出符合要求的跟踪目标 的 图像数据， 则并将找到的目标位置信息通过有线网络或无线网络传递回监控中心， 完成一 次基于联合学习的多目标跟踪与目标重识别。 5.根据权利要求4所述的联合学习的多目标跟踪与目标重识别方法， 其特征在于步骤 五、 每个所述其他嵌入式设备接收到步骤四跟踪与跨域行人重识别图像数据后， 将其与自 身监控范围内检测到的行 人进行特征匹配的具体方法是： 步骤五一、 每个其他嵌入式设备接收到步骤四跟踪与跨域行人重识别图像数据后， 首 先对自身拍摄画 面数据进 行缩放与灰度填充， 并根据改进的多目标跟踪与跨域行人重识别权　利　要　求　书 1/2 页 2 CN 115100591 A 2模型对画面中的行人进行语义特征提取， 并对提取 的语义特征进行二范数归一化处理， 平 衡特征维度。 步骤五二、 对步骤五一进行二范数归一化处理后的语义特征， 将其与监控中心通过有 线/网络或无线网络发来的处理后的跟踪模型进 行多级匹配， 具体操作为： 将归一化后的语 义特征与发来的跟踪模型特征进行余弦距离计算， 利用余弦距离构建代价矩阵， 进行多级 匹配， 并在最后进行置信度由高到低排列， 记录 置信度最高的行 人作为匹配结果进行输出。权　利　要　求　书 2/2 页 3 CN 115100591 A 3