(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210776264.0 (22)申请日 2022.07.04 (65)同一申请的已公布的文献号 申请公布号 CN 114821249 A (43)申请公布日 2022.07.29 (73)专利权人 山东交通学院 地址 250000 山东省济南市交校路5号 (72)发明人 田鑫　王成　庞希愚　姜刚武　 郑艳丽　李曦　周厚仁　孙珂　 郑美凤　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 刘彬 (51)Int.Cl. G06V 10/774(2022.01)G06V 10/44(2022.01) G06V 10/42(2022.01) G06V 10/30(2022.01) G06T 7/70(2017.01) G06N 3/04(2006.01) G06V 10/82(2022.01) (56)对比文件 CN 114495170 A,202 2.05.13 CN 112801235 A,2021.0 5.14 WO 2021120157 A1,2021.0 6.24 审查员 董立波 (54)发明名称 一种基于分组聚合注意力和局部关系的车 辆重识别方法 (57)摘要 本发明涉及计算机视觉中的车辆重识别技 术领域， 具体地涉及一种基于分组聚合注意力和 局部关系的车辆重识别方法， 基于分组聚合注意 力机制和局部关系模块实现， 其中分组聚合注意 力机制是将特征图沿通道方向均匀划分为多个 组， 对每个组独立地进行特征增强， 然后利用聚 合方式来实现跨组局部信息交互， 并利用不同全 局关系来有效地推断通道的注意权重。 其次， 本 发明对注 意力图施加一个注意力增强约束， 该约 束可以自适应调整通道的权重值， 从而进一步增 强鉴别性信息并抑制噪声信息， 提高网络识别同 一车辆的能力； 所述局部关系模块旨在挖掘更多 有价值的部位间关系以区分相应部位具有相似 属性的不同身份的车辆， 能够快速、 准确的识别 出同一车辆 。 权利要求书2页 说明书6页 附图1页 CN 114821249 B 2022.09.20 CN 114821249 B 1.一种基于分组聚合注意力和局部关系的车辆重识别方法， 其特征在于， 包括以下步 骤： 步骤1、 以车辆图像作为输入数据， 采用Resnet50作为骨干网络， 在res_conv4_1残差块 之后， Resnet5 0骨干网络被划分为两个分支； 步骤2、 移除两个分支中的res_co nv5_1块的空间下采样 操作； 步骤3、 对于全局分支， 将 分组聚合注意力机制添加到res_conv5块后， 以增强显著信息 并抑制噪声信息， 该全局分支用于学习有效的全局级特征； 对于局 部分支， 将res_conv5块 产生的特 征图输入到局部关系模块中， 以获得 更具鉴别性的局部级特 征； 步骤4、 利用全局平均池化层将全局级特征和局部级特征池化到大小为2048 ×1×1的 特征图， 以用于三元组损失的计算； 步骤5、 通过降维模块将2048维特征降到256维特征， 每个256维的特征输入到一个全连 接层中， 以用于交叉熵损失的计算； 基于以上 得到的结果进行 车辆重识别； 所述分组聚合注意力机制的完整架构为： (2‑1)特征图x∈RC×H×W作为分组聚合注意力机制的输入， 其 中C代表通道的数量， H、 W分 别表示张量的高度和宽度； 特征图x首先输入到一个分组数为d的1 ×1分组卷积 中， 然后将 得到的特征图沿通道方向均匀划分为d组， 每组独立地输入到特征增强模块中， 以得到强化 后的特征图； ( 2‑2 ) 对 于 特 征 增 强 模 块 ，将 特 征 图 xi作 为 该 模 块 的 输 入 ，其 中 在特征增强模块中， 特征图xi首先同时经过两个嵌 入函数α(x)和β(x)分别得到张量A和B； 然后， 将张量A和B的尺寸分别变形为(C/d) ×HW和HW ×(C/d)， 为了获得由通道间关系组成的矩阵 将A和B进行矩阵乘法， xr的计算 公式为 式中， 为矩阵乘法 符号； (2‑3)对矩阵xr进行关系融合操作， 即对xr的每一行求均值， 从而得到组内全局通道关 系向量R； 对向量R进行缩放点积操作， 即将R中的每个元素除以 向量R中的第i个 元素的计算公式如下： (2‑4)紧接着， 向量R通过一个全局关系交互操作得到一个新的通道向量R ′； 该全局关 系交互操作通过一个卷积核 大小为k、 边缘填充圈数为2的快速1D卷积来 实现， 其中k作为一 个超参数， 代 表局部跨关系交 互的覆盖率； (2‑5)然后通过一个sigmoid函数来得到通道注意力图xp∈RC/d； 设计一个注意力增强约 束LAE， 通过让注意力增强约束变大来进一步增强有用信息并削弱背景噪声信息， 该约束的 计算表达式如下： 权　利　要　求　书 1/2 页 2 CN 114821249 B 2其中 代表了xp的第i个元 素； (2‑6)最后将注意力图xp的尺寸变形为 并和输入特征xi进行元素点乘 操作， 得到最终的输出 特征 表达式如下： 式中， 为元素点乘符号； (2‑7)将 在通道维度进行拼接， 得到一个尺寸为C ×H×W的特征 图x′； 最后， 将x ′经过聚合函数f(x)实现组间全局通道信息交互并得到最终的输出特征图 xz， 其中f(x)由一个1 ×1卷积、 一个批量归一 化和一个ReLU激活函数组成； 所述局部关系模块用于挖掘部位之间的联系， 其结构为： (3‑1)特征图x∈RC×H×W作为该模 块的输入， 经过三个1 ×1分组卷积得到三个特征图(xe， xf， xg)且xe和xf的通道数被降维至C ′以减少计算复杂度； 然后将xe、 xf和xg的尺寸分别变形 为N×C′、 C′ ×N和C×N， 其中N＝H×W； (3‑2)特征图xe和xf通过矩阵乘法得到空间位置关系矩阵S∈RN×N， 矩阵S中的元素表示 了位置点之间的关系； 引入掩码M∈RN×N与S进行点乘得到 新的关系矩阵S ′， 该掩码的左上角 和右下角部分的值都为0， 剩余两 部分的值都为1； (3‑3)矩阵S′经过softmax函数之后和特征图xg进行矩阵相乘得到关系特征图xh， xh的 计算公式如下： 式中，“⊙”是元素点乘符号、 是矩阵乘法 符号； (3‑4)最后将xh和原特征x相加获得最终的特 征xz。 2.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法， 其特征 在于， 步骤5中， 所述降维模块由一个1 ×1卷积和一个批量归一 化层BN组成。 3.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法， 其特征 在于， 在测试阶段， 所有被减少到25 6维的特征拼接到一起作为最终的特 征表示。 4.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法， 其特征 在于， 所用到的d个特 征增强模块共享嵌入函数α(x)和β(x)中的1 ×1卷积。 5.根据权利要求1所述的基于分组聚合注意力和局部关系的车辆重识别方法， 其特征 在于， 所述xh的上半部分特 征为 下半部分特 征为 权　利　要　求　书 2/2 页 3 CN 114821249 B 3