(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211300811.4 (22)申请日 2022.10.24 (71)申请人 南京师范大学 地址 210024 江苏省南京市 鼓楼区宁海路 122号 (72)发明人 李莹　高家全　管春明　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 王安琪 (51)Int.Cl. G06F 16/532(2019.01) G06F 16/583(2019.01) G06V 10/426(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度 哈希的多标签印花图像检索 方法 (57)摘要 本发明公开了一种基于深度 哈希的多标签 印花图像检索方法， 包括如下步骤： 步骤1、 采集 整理各式样的印花图像， 从多个角度对印花图像 进行标注， 建立多标签印花图像数据集； 步骤2、 利用图像处理的方法对数据进行增强； 步骤3、 印 花图像数据集按照一定比例拆分为训练集和查 询集； 步骤4、 构建基于深度哈希的多标签印花图 像检索网络模型； 步骤5、 使用印花图像训练集对 模型进行训练， 然后通过训练好的模 型对印花数 据集提取特征， 构建印花图像的哈希表示， 并构 建图像哈希数据库； 步骤6、 使用印花图像查询集 在训练好的模 型上进行检索， 评估 该模型的检索 精度及泛化能力。 本发明极大的提高了印花图像 检索的精度和速度。 权利要求书2页 说明书8页 附图1页 CN 115510254 A 2022.12.23 CN 115510254 A 1.一种基于深度哈希的多标签印花图像 检索方法， 其特 征在于， 包括如下步骤： 步骤1、 采集整理各式样的印花图像， 从多个角度对印花图像进行标注， 建立多标签印 花图像数据集； 步骤2、 利用翻转、 图像剪切、 色彩变换、 对比度变换图像处 理的方法对数据进行增强； 步骤3、 印花图像数据集按照一定比例拆分为训练集和查询集； 步骤4、 构建基于深度哈希的多标签印花图像 检索网络模型； 步骤5、 使用印花图像训练集对模型进行训练， 然后通过训练好的模型对印花数据集提 取特征， 构建印花图像的哈希 表示， 并构建图像哈希数据库； 步骤6、 使用印花图像查询集在训练好的模型上进行检索， 评估该模型的检索精度及泛 化能力。 2.如权利要求1所述的基于深度哈希的多标签印花图像检索方法， 其特征在于， 步骤4 中， 构建基于深度哈希的多标签印花图像 检索网络模型 具体包括如下步骤： 步骤41、 载入卷积神经网络为骨干网络， 用于提取图像的特 征； 步骤42、 在骨干网络后添加语义注意力网络， 利用软注意力映射从深层网络的高层中 获取基于特定标签特 征激活的区域； 步骤43、 添加图卷积神经网络， 为每 个印花图像标签学习相互依赖的特 征； 步骤44、 添加监督哈希网络， 将深度网络提取的高维特征向量降维为一串短比特码， 增 强检索的实时性。 3.如权利要求1所述的基于深度哈希的多标签印花图像检索方法， 其特征在于， 步骤41 中， 加载卷积神经网络ResNet ‑50为主干网络， 加载在ImageNet数据集预训练后的权重， 去 除最后的全连接层， 保留其余层； 使用骨干网络的 “res4b6relu ”层的视觉特征图作为该模 型后续两个子网络的输入视觉特征， 输入 大小为3×224×224， 骨干网络的输出大小为 14× 14×1024。 4.如权利要求1所述的基于深度哈希的多标签印花图像检索方法， 其特征在于， 步骤42 中， 在骨干网络后添加语义注意力网络， 利用软注意力映射从深层 网络的高层中获取基于 特定标签特征激活的区域； 注意力网络包括三层可学习的卷积层， 卷积核大小分别为1 ×1 ×512， 3×3×512， 1×1×C， C为数据库中所有的标签种 类数量， 三个卷积层均使用ReLU为 激活函数； 特征映射图X∈R14×14×1024的通道维度经历三次卷积后分别减少为512 →512→C， 卷积后得到非标准化的注 意力值映射图A'∈RH×W×C， 其中， H＝14， W＝14， 每个通道的映射图 A'k∈RH×W对应一个标签， 即1≤k≤C； 接着对 标签k对应的注意力值的映射图使用softmax函 数进行标准化， 得到最终的视觉注意力映射图A∈RH×W×C， 其中， H＝14， W＝14； 利用每个标签 的注意图对骨干网络阶段输出的特征映射X进行加权和， 生成标签表示Vk∈R1024， 其中1≤k ≤C； 该注意力机制利用语 义注意力网络会得到C个标签表示V＝[V1,V2,...,VC]∈RC×1024， 每 个特征表示能够选择性的聚合关于特定标签的相关特征； 对每个标签特征向量Vk， 使用一 个线性的全连接层来评估标签k的置信分数； 最终得到输入图像对于所有标签的置信度 利用图像的真实标签y＝[y1,y2,...,yC]与yatt之间的交叉熵损 失来学习注意力图的评估参数。 5.如权利要求1所述的基于深度哈希的多标签印花图像检索方法， 其特征在于， 步骤43权　利　要　求　书 1/2 页 2 CN 115510254 A 2中， 添加图卷积神经网络， 为每个印花图像标签学习相互依赖的特征； 利用注 意力网络得到 的内容感知标签表示V， 通过图卷积神经网络的训练学习方式来变换这些标签表示在多标 签图像检索任务中的相关性； 图卷积神经网络将内容感知的标签表示V作为输入节点特征， 用非负值相关性矩阵M∈RC×C表示标签关系， 然后对 M对称化得到M'， 利用M'与可学习转 换矩 阵W对标签表示V进行更新， 利用图卷积网络重复叠加后得到V →Z∈RC×D的特征表示， 最后使 用一个线性全连接层得到图片的嵌入表示E∈R2048； 图卷积网络利用排序损失函数trip let  loss作为损失值对图卷积网络进行更新， 其涉及三元样本之间的关系， 给负样本嵌入和正 样本嵌入提供了一种以锚点样本为核心的并发排序。 6.如权利要求1所述的基于深度哈希的多标签印花图像检索方法， 其特征在于， 步骤44 中， 添加监督哈希网络， 将深度网络提取的高维特征向量降维为一串短比特码， 增强检索的 实时性； 在图卷积网络最后的一层嵌入层后加上一层新的q个隐藏节点的全连接哈希层， 这 一层哈希层将印花图像的深度表征转换为低 维度的哈希编码表示， 然后使用激活函数， 让 输出控制在( ‑1,1)的区间内， 更方便地实现哈希编码； 引入成对损失， 保证学习到的哈希码 能保留一对图像间精细复杂的相似性信息， 引入新的三元组度量损失来学习样本之 间的排 序关系， 最后使用一个量 化损失来控制映射哈希的质量。 7.如权利要求1所述的基于深度哈希的多标签印花图像检索方法， 其特征在于， 步骤5 中， 使用印花图像训练集对模型进行训练， 然后通过训练好的模型对印花数据集提取特征， 构建印花图像的哈希表示， 并构建图像哈希数据库； 训练该模 型有四个阶段， 第一阶段用注 意力损失训练语义注意力网络和骨干网络的参数； 第二阶段固定骨干网络和语义注意力网 络的权值， 用排序损失专注于训练图卷积网络中的参数； 第三阶段使用注意力损失和排序 损失交替训练骨干网络， 语义注意力网络和图卷积网络； 最后联合哈希层的排序损失、 成对 损失以及量化损失对对骨干网络、 语义注意力网络、 图卷积网络以及倒数前一个全连接层 进行了微调。权　利　要　求　书 2/2 页 3 CN 115510254 A 3