(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210956830.6 (22)申请日 2022.08.10 (71)申请人 上海西虹桥 导航技术有限公司 地址 201702 上海市青浦区高泾路59 9号1 幢101室 申请人 上海交通大 学 (72)发明人 裴凌　徐成　郁文贤　 (74)专利代理 机构 上海交达专利事务所 31201 专利代理师 王毓理　王锡麟 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 针对频繁遮挡场景下基于物质波的多目标 跟踪方法 (57)摘要 一种针对频繁遮挡场景下基于物质波的多 目标跟踪方法， 通过构建并训练基于物质波的目 标检测网络， 在在线阶段从目标无遮挡的图像帧 中通过量子演化和量子测量， 得到目标遮挡的 图 像帧中目标的坐标， 用于在密集场景下对遮挡目 标的坐标进行预测匹配， 实现同一个目标在遮挡 前和遮挡后的ID保持不变， 进而达到对多个目标 的连续跟踪。 本发明能够在准确检测到目标的同 时， 连接被遮挡前后的目标轨迹， 实现频繁遮挡 下的多目标跟踪， 整体降低在极端密集场景下的 跟踪多目标身份切换与丢失的数量， 并且提升算 法在公开数据集上的多目标跟踪的准确度。 权利要求书3页 说明书6页 附图3页 CN 115330835 A 2022.11.11 CN 115330835 A 1.一种针对频繁遮挡场景下基于物质波的多目标跟踪方法， 其特征在于， 通过构建并 训练基于物质波的目标检测网络， 在在线阶段从目标无遮挡的图像帧中通过量子演化和量 子测量， 得到目标遮挡的图像 帧中目标 的坐标， 用于在密集场景下对遮挡目标的坐标进行 预测匹配， 实现同一个目标在遮挡前和遮挡后的ID保持不变， 进而达到对多个目标的连续 跟踪； 所述的物质波特征是指： 随着目标遮挡的图像帧增加， 目标的量子演化 得到的物 质波函数 的方差就逐渐变大， 即物质波函数波形的中心能量向两边 辐散， 物质波函数是一个描述希尔伯特空间中物体状态的向量 其中： 物 质波系数 表示物质波在由基集ψi构成的希尔伯特空间中的投影， 非负标量j满足 φj表示相位， rj表示相位函数 的加权系数， 即目标通过检测算法输出的 边界框的中心坐标。 2.根据权利要求1所述的针对频繁遮挡场景下基于物质波的多目标跟踪方法， 其特征 是， 所述的训练是指： 设置训练损失函数对合成的物质波系数进行优化。 3.根据权利要求1或2所述的针对频繁遮挡场景下基于物质波的多目标跟踪方法， 其特 征是， 所述的物质波函数， 通过求解薛定谔方程得到， 具体为： 其中： φ为物质波 函数， 哈密顿量 其中： 普朗克常数， 势能函数 k为 弹性系数和Δx运动点到平衡点的距离， m为物质的质量， 当已知某 一时刻的哈密顿量， 则可 计算得到该时刻对应的物质波函数。 4.根据权利要求1所述的针对频繁遮挡场景下基于物质波的多目标跟踪方法， 其特征 是， 所述的在 密集场景 下对遮挡目标的坐标进行 预测匹配包括： 步骤1)通过目标检测网络得到图像上无遮挡目标的中心坐标后， 将其投影到基组中， 通过相邻两帧物质波函数之间的关系 得到Φ(r,t+1)后， 再根据物 质波函数定义公式 将已知的Φ和ψi带入， 从而求解出物质波系数 即将目标状态从不确定状态转移到确定状态； 在没有测量的情况下， 目标状态 是不确定的， 因为它同时在所有可能的测量上； 测量后， 目标状态将坍缩到某个基态 其中： Φ(r,t)是当前帧的物质波， Φ(r,t)乘上相位运动函数 得到下一帧的物质波函数Φ(r， t+1)； 步骤2)使用量子测量预测下一帧中物体的中心坐标： 通过计算量子测量的积分表达 式 根据当前帧中对象 的中心坐标(Xc， Yc)获得下一帧中对象的中心坐标(X1 c， Y1 c)， 具体为： X1 c ＝∫(Φ(r， t+1)*XcΦ(r， t+1))dx， Y1 c＝∫(Φ(r， t+1)*YcΦ(r， t+1))dy， 其中： Xc表示当前帧 中对象在X轴上的中心坐标， X1 c表示下一帧中对象在X轴上的中心坐标； 步骤3)通过连续循环量子测量和量子演化以计算连续帧中物体的中心坐标， 具体为： 将X1 c和Y1 c分别带入X2 c＝ ∫(Φ(r， t+1)*X1 cΦ(r， t+1))dx和Y2 c＝ ∫(Φ(r， t+1)*Y1 cΦ(r， t+1))权　利　要　求　书 1/3 页 2 CN 115330835 A 2dy得到X2 c和Y2 c， 并进一步循环计算得到(X3 c， Y3 c)， ......， (Xn c， Yn c)， 实现目标轨迹的连续 帧预测。 5.一种实现权利要求1 ‑4中任一所述方法的基于物质波函数的多目标跟踪系统， 其特 征在于， 包括： 目标检测网络、 物质波计算模块和物质波运动预测模块， 其中： 目标检测网络 采集输入图像的目标边界框和图像特征， 物质波计算模块根据目标被遮挡前的图像以及普 朗克常数、 虚数单位以及目标的哈密顿量均带入薛定谔方程求解得到目标初始 化的物质波 函数， 物质波运动预测模块根据目标被遮挡前的图像结合物质波的量子演化预测得到目标 被遮挡时的坐标位置， 将遮挡 前后的目标轨迹与目标身份正确连接， 通过量子测量和量子 演化从湮灭中再生出目标并修复检测的误差进 而实现连续帧的多目标跟踪。 6.根据权利要求5所述的基于物质波函数的多目标跟踪系统， 其特征是， 所述的目标检 测网络包括： 主干网络(backbone)、 特征金字塔(FPN)和网络输出单元， 其中： backbone使用 不同大小的池化核对图像的特征分别进行池化， 然后进行堆叠之后再卷积得到128维的高 维图像特征； FPN将不同大小的特征层进 行特征融合以进 行加强特征提取， 网络输出单元输 出目标的置信度、 边界框和类别 信息。 7.根据权利要求5所述的基于物质波函数的多目标跟踪系统， 其特征是， 所述的物质波 运动预测模块包括： 量子测量单元和量子演化单元， 其中： 量子测量单元将目标检测结果编 码到物质波中， 在将该编 码后的物质波对上一帧目标的坐标进行积分得到 当前帧目标的二 维坐标(Xc， Yc)， 量子演化单元将当前帧的物质波函数与相位函数 进行相乘得到下一 帧的物质波函数。 8.根据权利要求5 ‑7中任一所述系统的多目标跟踪方法， 其特 征在于， 具体包括： 步骤一、 使用谐振子系统的基态解作为物质波的基组， 其中谐振子系统的基态解 通过以 下方法得到： 求解薛定谔方程 其中： φ是物质波函数， 为哈密顿量， 为拉普拉斯算子， 普朗克常数， 谐振子系统的势能函数满足方 程 k为弹性系数和 Δx运动点到平衡点的距离， m为物质的质量， 因此将其作为 整个求解薛定谔方程的势能函数； 从谐振子获得的基组和物质波如图2所示， 满足薛定谔方 程的物质波函数为φ； 当已知特定时间的哈密顿量， 则求解当前物质波函数， 物质波函数的 分量即为物质波的基组； 步骤二、 根据被遮挡之前目标的坐标(Xc， Yc)求解物质波系数， 即利用遮挡前的目标信 息预测遮挡后目标的中心坐标， 具体为： 通过YOLOX网络获得图像上未遮挡物体的中心坐 标， 将物体的中心坐标投影到步骤一得到的物质波的基组中， 计算得到物质波系数 步骤三、 量子测量单元将目标检测结果编码到物质波中， 然后将该编码后的物质波对 上一帧目标的坐标进行积分得到当前帧目标的二维坐标(Xc， Yc)， 再量子演化单元将当前 帧的物质波函数与相位函数 进行相乘得到下一帧的物质波函数， 将物质波函数带入 方程X1 c＝ ∫(Φ(r， t+1)*XcΦ(r， t+1))dx和Y1 c＝ ∫(Φ(r， t+1)*YcΦ(r， t+1))dy， 从而求得目 标在下一帧的坐标(X1 c， Y1 c)， 其中： Xc为当前帧中对象在X轴 上的中心坐标， X1 c为下一帧中 对象在X轴上的中心坐标； Y1 c为当前帧中对象在Y轴上的中心坐标， Y1 c为下一帧中对象在Y权　利　要　求　书 2/3 页 3 CN 115330835 A 3