(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210187046.3 (22)申请日 2022.02.28 (71)申请人 汇纳科技股份有限公司 地址 201203 上海市浦东 新区中国 （上海） 自由贸易试验区川和路5 5弄6号 (72)发明人 游浩泉　袁德胜　韩宇露　王海涛　 成西峰　崔龙　党毅飞　刘耀文　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 庞红芳 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/75(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 基于时空信息的行人重识别聚类方法及装 置 (57)摘要 本发明提供一种基于时空信息的行人重识 别聚类方法及装置， 行人重识别聚类方法包括： 基于待识别的行人图片集， 应用神经网络模型进 行特征提取， 确定每个行人图片的特征表达； 基 于所述每个行人图片的特征表达， 应用欧几里得 距离计算进行相似度匹配， 以确定第一特征聚 类； 基于所述第一特征聚类中的特征表达， 应用 基于密度的时空聚类算法， 确定符合所述时空聚 类算法的核心点以及核心点之间的连接边； 基于 所述核心点和所述连接边， 应用图注意力网络， 更新所述第一特征聚类的特征表达； 基于更新后 的所述第一特征聚类的特征表达和预设的特征 阈值， 进行相似度判断， 确定第二特征聚类。 本发 明的基于时空信息的行人重识别聚类方法能够 提高匹配准确度。 权利要求书3页 说明书7页 附图3页 CN 114677705 A 2022.06.28 CN 114677705 A 1.一种基于时空信息的行人重识别聚类方法， 其特征在于， 所述行人重识别聚类方法 包括以下步骤： 基于待识别的行人图片集， 应用神经网络模型进行特征提取， 确定每个行人图片的特 征表达； 基于所述每个行人图片的特征表达， 应用欧几里得距离计算进 行相似度匹配， 以确 定第一特 征聚类； 基于所述第一特征聚类中的特征表达， 应用基于密度的时空聚类算法， 确定符合所述 时空聚类算法的核心点以及核心点之间的连接边； 基于所述核心点和所述连接边， 应用图注意力网络， 更新所述第一特征聚类的特征表 达； 基于更新后的所述第一特征聚类的特征表达和预设的特征阈值， 进行相似度判断， 确 定第二特 征聚类， 所述第二特 征聚类表示同一行 人的特征。 2.根据权利要求1所述的方法， 其特征在于， 所述神经网络模型的损失函数包括交叉熵 损失函数和三元组损失函数。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述每个行人图片的特征表达， 应用欧几里 得距离计算进行相似度匹配， 以确定第一特 征聚类， 包括： 基于所述每个行人图片的特征表达， 应用欧几里得距离计算公式， 确定每两个特征表 达之间的相似度； 当所述相似度 大于第一相似度阈值 时， 确定所述相似度对应的两个特征表达归属为所 述第一特 征聚类的一类。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述第一特征聚类中的特征表 达， 应用基于密度的时空聚类算法， 确定符合所述时空聚类算法的核心点以及核心点之间 的连接边， 包括： 基于所述第一特征聚类中的特征表达， 应用所述基于密度的时空聚类算法， 确定所述 特征表达对应的时间距离矩阵和空间距离矩阵； 遍历所述时间距离矩阵中的每 个数据点和所述空间距离矩阵中的每 个数据点； 当第一数据点在预设的时间距离 阈值范围内、 第 二数据点在预设的空间距离 阈值范围 内， 且所述第一数据点和所述第二数据点对应同一特征表达时， 记录所述同一特征表达， 且 计数； 当所述计数的结果大于预设的节点阈值 时， 将所述计数对应的所述同一特征表达确定 为符合所述时空聚类算法的核心点； 连接每两个核心点形成所述核心点之间的连接边。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述核心点和所述连接边， 应用 图注意力网络， 更新所述第一特 征聚类的特 征表达， 包括： 基于所述核心点和所述连接边， 构建成聚类图； 基于所述聚类图， 应用图注意力网络的注意力系数的表达式， 确定所述核心点对应的 注意力系数； 基于所述注意力系数， 进行带泄露的线性修正单元的非线性激活和指数归一化处理， 确定所述连接边对应的注意力权 重； 将所述连接边对应的注意力权重， 与图注意力网络的权重相乘， 再对所述连接边进行 指数归一 化， 更新所述核心点对应的特 征表达；权　利　要　求　书 1/3 页 2 CN 114677705 A 2基于所述核心点对应的特 征表达， 更新所述第一特 征聚类的特 征表达。 6.根据权利要求5所述的方法， 其特 征在于， 所述注意力系数的表达式为： eij＝concat(hiW， hjW)a， j∈Ni eij为注意力系数； i表示第i个核心点； j表示与第i个核心点邻接 的第j个核心点； hi为 核心点i的特征向量， 维度为[1， F]； hj为核心点j的特征向量， 维度为[1， F]； W为可学习参 数， 维度为[F， F ′]； a为可学习参数， 维度为[2F ′， 1]； F为大于1的整数， F ′为大于1的整数， N 为核心点总个数； 所述注意力权 重的表达式为： aij为注意力权重； i表示第i个核心点； j表示与第i个核心点邻接的第j个核心点； LeakyReLU(eij)表示使用带泄露的线性修正单元对eij进行非线性激活处理； LeakyReLU (eik)表示使用带泄露 的线性修正单元对eik进行非线性激活处理； exp(LeakyReLU(eij))表 示对LeakyReLU(eij)进行求指数； exp(Leak yReLU(eik))表示对 LeakyReLU(eik)进行求指数； k表示与第i个核心点邻接的第k个核心点； N 为所述核心点总个数； 所述特征表达的表达式为： h′i为特征表达， i表示第i个核心点； j表示与第i个核心点邻接的第j个核心点； aij为注 意力权重； W为可学习参数； hj为核心点j的特 征向量； σ 表示指数归一 化操作。 7.根据权利要求1所述的方法， 其特 征在于， 所述更新所述第一特 征聚类之后， 还 包括： 计算所述更新后的所述第一特 征聚类中的特 征表达的特 征均值； 将所述特征均值逐一和未符合所述时空聚类算法的特征表达进行所述欧几里得距离 计算， 得到相似度集 合； 获取所述相似度集 合中的最大相似度； 当所述最大相似度大于第 二相似度阈值 时， 将所述最大相似度对应的未符合所述 时空 聚类算法中的特 征表达加入所述第二特 征聚类。 8.一种基于时空信息的行 人重识别聚类装置， 其特 征在于， 包括： 第一处理模块， 用于基于待识别的行人图片集， 应用神经网络模型进行特征提取， 确定 每个行人图片的特征表达； 基于所述每个行人图片的特征表达， 应用欧几里得距离计算进 行相似度匹配， 以确定第一特 征聚类； 第二处理模块， 用于基于所述第一特征聚类中的特征表达， 应用基于密度的时空聚类 算法， 确定符合所述时空聚类算法的核心点以及核心点之间的连接边； 第一确定模块， 用于基于所述核心点和所述连接边， 应用图注意力网络， 更新所述第一 特征聚类的特 征表达； 第二确定模块， 用于基于更新后的所述第一特征聚类和预设的特征阈值， 进行相似度 判断， 确定第二特 征聚类， 所述第二特 征聚类表示同一行 人的特征。 9.一种存储介质， 存储有程序指令， 其中， 所述程序指令被执行时实现如权利要求1至权　利　要　求　书 2/3 页 3 CN 114677705 A 3