(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211300785.5 (22)申请日 2022.10.24 (71)申请人 南京师范大学 地址 210024 江苏省南京市 鼓楼区宁海路 122号 (72)发明人 李莹　高家全　管春明　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 王安琪 (51)Int.Cl. G06F 16/532(2019.01) G06F 16/51(2019.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/776(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种深度特 征融合的印花图像 检索方法 (57)摘要 本发明公开了一种深度特征融合的印花图 像检索方法， 包括如下步骤： 步骤1、 利用多种方 式采集整理各种印花图像， 从元素、 风格、 排列三 个角度对印花图像进行标注， 建立印花图像数据 集； 步骤2、 印花图像数据集按照一定比例拆分为 训练集和测试集； 步骤3、 构建深度特征融合的印 花图像检索网络模型； 步骤4、 使用印花图像训练 集对模型进行训练， 然后通过训练好的模型对印 花数据集提取特征， 并构建特征向量数据库； 步 骤5、 使用印花图像测试集在训练好的模型上进 行检索， 评估该模型的检索精度。 本发明结合印 花图像的高层特征与低层特征， 将 两种特征融合 对印花图像进行检索， 从而提高了在印花图像上 检索的精度。 权利要求书2页 说明书6页 附图2页 CN 115544286 A 2022.12.30 CN 115544286 A 1.一种深度特 征融合的印花图像 检索方法， 其特 征在于， 包括如下步骤： 步骤1、 利用多种方式采集整理各种印花图像， 从元素、 风格、 排列三个角度对印花图像 进行标注， 建立印花图像数据集； 步骤2、 印花图像数据集按照一定比例拆分为训练集和 测试集； 步骤3、 构建深度特 征融合的印花图像 检索网络模型； 步骤4、 使用印花图像训练集对模型进行训练， 然后通过训练好的模型对印花数据集提 取特征， 并构建特 征向量数据库； 步骤5、 使用印花图像测试集在训练好的模型 上进行检索， 评估该模型的检索精度。 2.如权利要求1所述的深度 特征融合的印花图像检索方法， 其特征在于， 步骤3 中， 构建 深度特征融合的印花图像 检索网络模型 具体包括如下步骤： 步骤31、 加载 卷积神经网络为主干网络， 利用大 型数据集进行分类任务预训练； 步骤32、 修改该主干网络模型， 再使用印花图像数据集对其进行微调， 通过该卷积神经 网络提取 出该印花图像的特 征信息； 步骤33、 从高层网络中获得高层特 征； 步骤34、 从低层网络中获得低层特 征； 步骤35、 利用高层特征得到k个检索结果， 再通过低层特征对得到的k个检索结果进行 重排序。 3.如权利要求1所述的深度特征融合的印花图像检索方法， 其特征在于， 步骤31中， 加 载卷积神经网络ResNet ‑50为主干网络， 载入Ima geNet数据集进行分类任务预训练。 4.如权利要求1所述的深度特征融合的印花图像检索方法， 其特征在于， 步骤32中， 载 入预训练好的卷积神经网络模型， 剔除最后的分类器， 添加一个全连接层， 输出维度为印花 数据集的类别数， 随机初始化最后一层权重， 利用印花数据集对其进行微调， 具体参数： 采 用SGD优化器， 学习率初始设定为0.001， 批 次大小为64， 动量为0.9， 重量衰减为0.0001， 迭 代次数设为5 00轮， 利用微调后的卷积神经网络作为特 征提取器。 5.如权利要求1所述的深度特征融合的印花图像检索方法， 其特征在于， 步骤33中， 对 于高层网络层提取出来的特征， 即conv5层输出中得到的特征映射， 使用图像金字塔以产生 多尺度表征， 得到一个2048通道数的特征映射， 然后使用广义平均池化对提取的特征进行 池化以减少参数， 加权每个特征的贡献， 将深度激活图聚合为一个高层特征， 之后使用一个 全连接层进行白化操作， 产生一个维度为2048的特征向量， 然后采用交叉熵损失作为其损 失函数。 6.如权利要求1所述的深度特征融合的印花图像检索方法， 其特征在于， 步骤34中， 对 于低层网络层提取出来的低层特征， 即conv4层输出中得到的特征映射， 使用图像金字塔以 产生多尺度表征， 得到一个通道数为 1024的特征映射， 使用1 ×1的卷积核为自编码 器模块， 对提取出的低层特征降维到128个通道， 再使用一个1 ×1的卷积核为 自编码器对降维后的 低层特征进行恢复， 测量自编码器重建特征的能力， 对于重建的特征映射， 添加注意力模 块， 根据注意力得分选择低层特征， 采用均方误差损失计算自编码模块重 建特征的损失， 交 叉熵损失作为低层特 征的损失函数。 7.如权利要求1所述的深度特征融合的印花图像检索方法， 其特征在于， 步骤35中， 对 于高层特征、 低层特征、 自编码 器都有单独的损失函数， 所以该网络结构的总的目标函数的权　利　要　求　书 1/2 页 2 CN 115544286 A 2损失函数表示 为： L＝Lg+λLr+β La 其中， Lg为高层特征的损失， Lr为自编码器重建特征的损失， La为低层特征的损失， λ和β 分别为每 个损失的权 重； 先使用ResNet ‑50网络提取查询图像特征， 计算该特征与印花图像高层特征的余弦相 似度得到初步检索结果， 再使用低层特征对前k个检索结果进 行重新排序； 对于高层特征和 低层特征的学习， 两个分支学习的过程同时进行。权　利　要　求　书 2/2 页 3 CN 115544286 A 3