(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111679104.6 (22)申请日 2021.12.31 (71)申请人 讯飞智元信息科技有限公司 地址 230088 安徽省合肥市高新区望江西 路666号讯飞大厦8层-10层 申请人 安徽大学 (72)发明人 潘蓬　谭昶　汤进　贾若然　 郑爱华　李成龙　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 宋东阳 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 行人重识别方法、 相关 设备及可读存 储介质 (57)摘要 本申请公开了一种行人重识别方法、 相关设 备及可读存储介质， 先基于包含RGB图像和 红外 图像的图像对训练得到特征提取模 型， 在获取待 查询图像之后， 将待查询图像输入特征提取模 型， 该特征提取模型输出该待查询图像的特征， 通过将该待查询图像的特征与查询数据库中各 个行人图像的特征进行匹配， 即可得到所述待查 询图像对应的行人重识别结果。 在本申请中， 特 征提取模型是基于RGB图像和红外图像训练得到 的， 无论是对RGB图像进行特征提取， 还是对红外 图像进行特征提取都能保证提取特征的有效性， 因此， 能够提升行 人重识别结果的准确性。 权利要求书3页 说明书12页 附图4页 CN 114445859 A 2022.05.06 CN 114445859 A 1.一种行 人重识别方法， 其特 征在于， 所述方法包括： 获取待查询图像； 将所述待查询图像输入特征提取模型， 所述特征提取模型输出所述待查询图像的特 征； 所述特 征提取模型 是基于包 含RGB图像和红外图像的图像对训练得到的； 将所述待查询图像的特征与查询数据库中各个行人图像的特征进行匹配， 得到所述待 查询图像对应的行 人重识别结果。 2.根据权利要求1所述的方法， 其特 征在于， 所述特 征提取模型的训练方式如下： 获取预先构建的特征提取模型训练网络， 所述特征提取模型训练网络包括特征提取模 块、 属性分类模块、 特 征融合模块、 特 征对齐模块以及身份预测模块； 获取训练用图像对， 所述训练用图像对包含RGB图像和红外图像； 每个训练用图像对标 注有身份标签和 属性标签； 以所述训练用图像对为训练样本， 以所述训练用图像对标注的身份标签和属性标签为 样本标签， 以所述属 性分类模块、 所述身份预测模块以及所述特征对齐模块的联合损失训 练所述特征提取模型训练网络， 所述特征提取模型训练网络 收敛时， 所述特征提取模块即 为所述特 征提取模型。 3.根据权利要求2所述的方法， 其特征在于， 在所述特征提取模型训练网络训练过程 中， 所述特征提取模块对 所述训练用图像对中的RGB图像和红外图像进 行特征提取， 得到所 述RGB图像的全局特 征、 所述红外图像的全局特 征、 所述图像对的整体局部特 征； 所述属性分类模块基于所述图像对的整体局部特征生成所述图像对的新的整体局部 特征， 以及， 基于所述图像对的整体局部特征对所述图像对的属性进 行预测， 得到属性预测 结果， 所述属性预测结果与所述训练用图像对的属性标签间的差异 为所述属性分类模块的 损失； 所述特征融合模块对所述图像对的新的整体局部特征和所述RGB图像的全局特征进行 融合， 得到所述RGB图像的新的全局特征， 以及， 对所述图像对的新的整体局部特征和所述 红外图像的全局特 征进行融合， 得到所述红外图像的新的全局特 征； 所述特征对齐模块基于所述RGB图像的新的全局特征以及所述图像对的属性标签， 得 到合成的红外模态特征； 基于所述红外图像的新的全局特征以及所述图像对的属 性标签， 得到真实红外模态特征； 基于所述合成的红外模态特征和所述真实红外模态特征， 生成中 间模态特征， 所述中间模态特征与所述合成的红外模态特征的差异以及所述中间模态特征 与所述真实红外模态特 征的差异为所述特 征对齐模块的损失； 所述身份预测模块基于所述RGB图像的新的全局特征和所述红外图像的新的全局特征 对所述图像对的身份进行预测， 得到身份预测结果， 所述身份预测结果与所述训练用图像 对的身份标签间的差异为所述身份预测模块的损失。 4.根据权利要求3所述的方法， 其特征在于， 所述特征提取模块包括输入层、 中间层和 最后层； 所述特征提取模块对所述训练用图像对中的RGB图像和红外图像进行特征提取， 得到 所述RGB图像的全局特 征、 所述红外图像的全局特 征、 所述图像对的整体局部特 征， 包括： 所述输入层生成所述训练用图像对中RGB图像的输入序列， 以及， 所述训练用图像对中 红外图像的输入序列；权　利　要　求　书 1/3 页 2 CN 114445859 A 2所述中间层对所述RGB图像的输入序列进行编码， 得到所述RGB图像的局部特征， 以及， 对所述红外图像的输入序列进行编码， 得到所述红外图像的局部特 征； 所述最后层对所述RGB图像的局部特征进行编码， 得到所述RGB图像的全局特征， 以及， 对所述红外图像的局部特 征进行编码， 得到所述红外图像的全局特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述输入层生成所述训练用图像对中RGB 图像的输入序列， 包括： 获取所述训练用图像对中RGB图像对应的各分块的特 征序列， 以及位置序列； 将预设标记与所述RGB图像对应的各分块的特征序列、 以及位置序列组成所述RGB图像 的输入序列； 所述输入层生成所述训练用图像对中红外图像的输入序列， 包括： 获取所述训练用图像对中红外图像对应的各分块的特 征序列， 以及位置序列； 将预设标记与 所述红外图像对应的各分块的特征序列、 以及位置序列组成所述红外图 像的输入序列。 6.根据权利要求3所述的方法， 其特征在于， 所述属性分类模块包括： 注意力层， 属性预 测层， 所述属性分类模块基于所述图像对的整体局部特征生成所述图像对的新的整体局部 特征， 以及， 基于所述图像对的整体局部特征对所述图像对的属性进 行预测， 得到属性预测 结果， 包括： 所述注意力层基于所述图像对的整体局部特征生成所述图像对的各属性特征， 所述图 像对的各属性特 征组合得到所述图像对的新的整体局部特 征； 所述属性预测层基于所述图像对的各属性特征对所述图像对的属性进行预测， 得到属 性预测结果。 7.根据权利要求3所述的方法， 其特 征在于， 所述特 征对齐模块包括： 红外编码生成器、 属性标签融合层、 对抗网络； 所述特征对齐模块基于所述RGB图像的新的全局特征以及所述图像对的属性标签， 得 到合成的红外模态特征； 基于所述红外图像的新的全局特征以及所述图像对的属 性标签， 得到真实红外模态特征； 基于所述合成的红外模态特征和所述真实红外模态特征， 生成中 间模态特 征， 包括： 所述红外编码生成器对所述RGB图像的新的全局特征进行编码， 得到所述编码的红外 模态特征； 所述属性标签 融合层对所述编码的红外模态特征和所述图像对的属性标签进行融合， 得到合成的红外模态特征； 以及， 对所述红外图像的新的全局特征以及所述图像对的属 性 标签进行融合， 得到真实红外模态特 征； 所述对抗网络基于所述合成的红外模态特征和所述真实红外模态特征， 生成中间模态 特征。 8.一种行 人重识别装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取待查询图像； 特征提取单元， 用于将所述待查询图像输入特征提取模型， 所述特征提取模型输出所 述待查询图像的特征； 所述特征提取模型是基于包含RGB图像和红外图像的图像对训练得 到的；权　利　要　求　书 2/3 页 3 CN 114445859 A 3