(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210438138.4 (22)申请日 2022.04.25 (71)申请人 马上消费金融股份有限公司 地址 401120 重庆市渝北区黄山大道中段 52号渝兴广场B2栋4至8楼 (72)发明人 刘彦宏　王洪斌　蒋宁　吴海英　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 徐晨影 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 图像分类模型的训练方法、 图像 分类方法及 装置 (57)摘要 本申请公开了一种图像分类模型的训练方 法、 图像分类方法及装置。 所述训练方法包括： 基 于预设风格对原始样本图像进行风格迁移处理， 得到第一生成图像； 对第一生 成图像进行变换处 理， 得到第一变换图像； 将图像样本输入初始图 像分类模型， 得到图像样本中的各图像对应的分 类结果， 图像样本包括原始样 本图像和第一变换 图像， 初始图像 分类模型中的第一子模型用于对 原始样本图像进行分类识别以得到对应的分类 结果， 第二子模 型用于对第一变换图像进行分类 识别以得到对应的分类结果； 对图像样本中各图 像的分类结果进行融合处理， 得到原始样本图像 的目标分类结果； 基于原始样 本图像的目标分类 结果及类别标签， 调整第一子模 型和第二子模型 各自的模型参数。 权利要求书3页 说明书20页 附图4页 CN 114662614 A 2022.06.24 CN 114662614 A 1.一种图像分类模型的训练方法， 其特 征在于， 包括： 基于预设风格对原始样本图像进行风格迁移处理， 得到具有所述预设风格的第 一生成 图像； 对所述第一 生成图像进行变换处 理， 得到第一变换图像； 将图像样本输入初始图像分类模型， 得到所述图像样本中的各图像对应的分类结果， 其中， 所述图像样本包括所述原始样本图像和所述第一变换图像， 所述初始图像分类模型 包括第一子模型和 第二子模型， 所述第一子模型用于对所述原始样本图像进 行分类识别以 得到对应的分类结果， 所述第二子模型用于对所述第一变换图像进行分类识别以得到对应 的分类结果； 对所述图像样本 中的各图像对应的分类结果进行融合处理， 得到所述原始样本图像对 应的目标分类结果； 基于所述原始样本图像对应的目标分类结果及类别标签， 调 整所述第 一子模型和所述 第二子模型 各自的模型参数， 得到图像分类模型。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述图像样本 中的各图像对应的分 类结果进行融合处 理， 得到所述原 始样本图像对应的目标分类结果， 包括： 对所述图像样本 中的各图像对应的分类结果进行加权求和， 得到所述原始样本图像对 应的目标分类结果。 3.根据权利要求2所述的方法， 其特征在于， 所述第二子模型的数量为多个， 多个第二 子模型与多种预设变换 处理方式一一对应， 每个所述第二子模型与多种预设变换 处理方式 对应， 所述第二子模型用于对经过所对应的预设变换 处理方式得到的变换图像进 行分类识 别以得到对应的分类结果； 所述对所述第一 生成图像进行变换处 理， 得到第一变换图像， 包括： 根据所述多种预设变换处理方式， 对所述第一生成图像进行变换处理， 得到所述多种 预设变换处 理方式对应的多个第一变换图像； 所述对所述图像样本中的各图像对应的分类结果进行融合处理， 得到所述原始样本图 像对应的目标分类结果， 包括： 基于所述多种预设变换处理方式各自对应的识别 权重， 对所述多个第 一变换图像各自 对应的分类结果进行加权求和， 得到第一 候选分类结果； 基于预设分布比例， 对所述第 一候选分类结果和所述原始样本图像对应的分类结果进 行加权求和， 得到所述原 始样本图像对应的目标分类结果。 4.根据权利要求3所述的方法， 其特征在于， 在基于所述多种预设变换处理方式各自对 应的识别权重， 对所述多个第一变换图像各自对应的分类结果进行加权求和， 得到第一候 选分类结果之前， 所述方法还 包括： 基于所述预设风格， 确定所述多种预设变换处理方式分别对所述第 一候选分类结果的 关联程度； 基于各种预设变换处理方式对所述第 一候选分类结果的关联程度， 确定各种预设变换 处理方式对应的识别权 重。 5.根据权利要求3所述的方法， 其特征在于， 在对所述图像样本中的各图像对应的分类 结果进行融合处 理， 得到所述原 始样本图像对应的目标分类结果之后， 所述方法还 包括：权　利　要　求　书 1/3 页 2 CN 114662614 A 2基于所述原始样本图像对应的目标分类结果及类别标签， 调 整所述预设分布比例和所 述多种预设变换处 理方式各自对应的识别权 重。 6.根据权利要求1所述的方法， 其特征在于， 所述基于所述原始样本图像对应的目标分 类结果及类别标签， 调整所述第一子模型和所述第二子模型 各自的模型参数， 包括： 基于预设损 失函数、 所述原始样本 图像对应的目标分类结果及类别标签， 确定所述初 始图像分类模型的总识别损失； 基于梯度 下降算法和所述总识别损失， 调整所述第 一子模型和所述第 二子模型各自的 模型参数。 7.根据权利要求1至6中任一项所述的方法， 其特征在于， 所述基于预设风格对原始样 本图像进行风格迁移处 理， 得到具有所述预设风格的第一 生成图像， 包括： 将所述原始样本图像和具有所述预设风格的目标风格图像输入预设风格迁移模型， 得 到所述第一生成图像， 其中， 所述预设风格迁移模型是以样本风格图像和样本内容图像作 为输入、 以样本生成图像作为输出进行训练得到的， 所述样本生成图像与所述样本内容图 像具有相同的图像内容， 且所述样本生成图像与所述样本风格图像具有相同的图像风格。 8.一种图像分类方法， 其特 征在于， 包括： 基于训练图像分类模型所使用的原始样本图像的图像风格， 对待处理图像进行风格迁 移处理， 得到第二 生成图像， 所述第二 生成图像与所述原 始样本图像具有相同的图像风格； 对所述待处 理图像进行变换处 理， 得到第二变换图像； 将预测图像集输入所述图像分类模型， 得到所述预测图像集中的各图像对应的分类结 果， 其中， 所述预测图像集包括所述第二变换图像和所述第二生成图像， 所述图像 分类模型 包括第一子模型和 第二子模型， 所述第一子模型用于对所述第二生成图像进 行分类识别以 得到对应的分类结果， 所述第二子模型用于对所述第二变换图像进行分类识别以得到对应 的分类结果， 所述图像 分类模型是基于如权利要求1至7中任一项 所述的训练方法训练得到 的； 对所述预测图像集中的各图像对应的分类结果进行融合处理， 得到所述待处理图像对 应的目标分类结果； 基于所述待处 理图像对应的目标分类结果， 确定所述待处 理图像所属的类别。 9.一种图像分类装置， 其特 征在于， 包括： 第二风格迁移模块， 用于基于训练图像分类模型所使用的原始样本 图像的图像风格， 对待处理图像进行风格迁移处理， 得到第二生成图像， 所述第二生成 图像与所述原始样本 图像具有相同的图像风格； 第二变换模块， 用于对所述待处 理图像进行变换处 理， 得到第二变换图像； 第二分类模块， 用于将预测图像集输入所述图像分类模型， 得到所述预测图像集中的 各图像对应的分类结果， 其中， 所述预测图像集包括所述第二变换图像和所述第二生成 图 像， 所述图像分类模型包括第一子模型和第二子模型， 所述第一子模型用于对所述第二生 成图像进 行分类识别以得到对应的分类结果， 所述第二子模型用于对所述第二变换图像进 行分类识别以得到对应的分类结果， 所述图像分类模型是基于如权利要求 1至7中任一项 所 述的训练方法训练得到的； 第二融合模块， 用于对所述预测图像集中的各图像对应的分类结果进行融合处理， 得权　利　要　求　书 2/3 页 3 CN 114662614 A 3