(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210124910.5 (22)申请日 2022.02.10 (71)申请人 南京邮电大 学 地址 224055 江苏省盐城市 盐南高新区大 数据产业园创新大厦南楼15层 (72)发明人 吕址函　朱松豪　梁志伟　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 张玉红 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于整体和部分约束的跨模态行人重 识别方法 (57)摘要 本发明所述的一种基于整体和部分约束的 跨模态行人重识别方法， 利用混合交叉的双路径 特征学习网络从两种不同的模态中深度提取局 部行人特征， 然后将提取的特征水平切割为p个 部件后映射到公共空间， 用于水平切割图像的局 部特征和全局特征， 提升行人特征表征能力； 最 后通过模态特定身份损失、 交叉熵损失以及提出 的损失函数共同协作， 减小模态间的差异， 提升 整体性能； 在训练数据时， 采用随机水平翻转和 随机擦除增强数据， 用以扩 充训练数据。 权利要求书2页 说明书7页 附图3页 CN 114495281 A 2022.05.13 CN 114495281 A 1.一种基于整体和部分约束的跨模态行人重识别方法， 其特征在于， 所述方法的步骤 为： S1、 利用两个独立且相同的分支网络， 对同一场景下的RGB图像及红外图像分别提取不 同模态下的行 人信息特 征； S2、 提取到的特征从上到下均匀划分为P条水平部件， 将P条水平部件投影至公共空间， 并输出模态特定特 征和模态共有特 征的联合表示； S3、 构建多损失函数， 利用多损失函数对联合特征进行混合和交叉， 通过模态距离约束 来缩小红外模态和RGB模态间的图像差异， 用以获得最佳识别性能。 2.根据权利要求1所述的一种基于整体和部分约束的跨模态行人重识别方法， 其特征 在于， 所述多损失函数为： 其中的 和 分别代表的是RGB分支和红外分支的特定模态softmax身份损失， LCE表 示交叉熵损失， LWCPTL表示整体约束和部分三元组 ‑中心损失函数； λ表示用于平衡整体损失 函数的预训练系数。 3.根据权利要求2所述的一种基于整体和部分约束的跨模态行人重识别方法， 其特征 在于， 整体约束过程包含两个步骤： 首先， 扩大同一模态下不同行人样本间的距离， 同时减小 RGB模态和红外模态间同一行人样本间的距离； 然后， 继续缩小两种模态下同一行人样本间 的距离， 提高行人身份的相似性， 缩小模态内不同行人样 本间的差异 性； 给定不同模态下行 人的深度特征 其中1≤i≤N, 和 分别表示 RGB 和红外模态下第i个行人的身份， 和 分别表示RGB和红外模态下第i个行人的第p个和 第q个身份， 整体约束LW的具体公式如下： 部分‑中心三元组损失 公式如下： 其中， LP表示部分三元组 ‑中心损失， xi和zi分别表示RGB图像特征和红外图像特征， c1yi 和c2yi分别表示RGB和红外模态下第i个类别中心， yi表示第i个样本的身份标签， α表示偏 置， N表示批量数， 表示欧氏距离， [x]+＝max(0,x)； 综上所述， 整体约束和部分三元组 ‑中心损失函数 可表示为： LWCPTL＝LW+LP。 4.根据权利要求2所述的一种基于整体和部分约束的跨模态行人重识别方法， 其特征 在于：权　利　要　求　书 1/2 页 2 CN 114495281 A 2模态特定身份损失： 由于RGB图像和红外图像中的行人特征存在很大差异， 因此使用不 同网络获取不同模态下的特征表 示， Softmax损失用于预测每个模态下的行人身份， 其公式 可表示为： 式中的 和 分别表示属于 和 类的第i个RGB图像特征和红外图像特征， 和 分别表示上一个全连接层中权重WV和WI的第j列， bV和bI分别表示RGB和红外模态的偏置， M 表示总行人数， NV和NI分别表示同一批次中RGB图像和红外图像训练样本的数量， 和 分别表示RGB图像和红外图像的身份损失函数。 5.根据权利要求2所述的一种基于整体和部分约束的跨模态行人重识别方法， 其特征 在于， 交叉熵损失函数为： 其中的yi表示第i个输入图像的真实标签， 即每张输入图像的p个部件特征共用该图像 的标签信息 。权　利　要　求　书 2/2 页 3 CN 114495281 A 3