(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210433807.9 (22)申请日 2022.04.22 (71)申请人 西安和硕 物流科技有限公司 地址 710000 陕西省西安市航天基地 航拓 路汇航广场A座70 6 (72)发明人 佟子业　惠维　赵鲲　峁子富　 郑艳　 (74)专利代理 机构 西安万知知识产权代理有限 公司 61264 专利代理师 伍时礼 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/20(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) G06T 9/00(2006.01) (54)发明名称 基于图一致性和半监督模型的标签含噪图 像分类方法 (57)摘要 本发明涉及计算机视觉和人工智能技术领 域， 更具体而言， 涉及基于图一致性和半监督模 型的标签含噪图像分类方法。 S1： 对训练集中全 量噪声标签数据进行训练， 初始化模型； S2： 得出 样本的分布； S3： 对样本进行分类筛选； S4： 对图 像进行不同的数据增强； S5： 将增强后的图像送 入半监督模型进行训练； S6： 进行图编码， 得到一 致性图； S7： 共同优化模型， 并更新样本 标签； S8： 将半监督模 型作为推理模型。 本发 明主要解决了 现有的仅基于分类一致性训练的半监督方法面 临着非常严重的置信偏差问题并且记住了大量 噪声标签， 错误累积并且伤害模型的问题。 本发 明图一致性模 型可以有效对抗噪声标签记忆， 并 显著提升 了模型表现。 权利要求书4页 说明书8页 附图2页 CN 114881125 A 2022.08.09 CN 114881125 A 1.基于图一 致性和半监 督模型的标签含噪图像分类方法， 其特 征在于： 包括以下步骤： S1： 对训练集中全量噪声标签数据进行训练， 初始化模型； S2： 根据所述步骤S1中的初始化模型得出样本的分布， 然后采用高斯混合模型根据所 述样本的分布将 样本划分为标签正确样本和标签不 正确样本； S3： 对所述步骤S2中得到的样本进行分类筛选： 标签正确的样本保留标签， 作为有标签 图像， 标签错误的样本抹除标签， 作为无标签图像； 将所述有标签图像和所述无标签图像均 传输到半监督模型中； S4： 对所述有标签图像和所述无 标签图像进行不同的数据增强； S5： 将增强后的所述有标签图像和所述无 标签图像， 送入半监 督模型进行训练； S6： 对所述S5步骤中半监 督模型训练得到的结果进行图编码， 得到一 致性图； S7： 采用类分布一 致性和图一 致性正则化共同优化模型， 并更新样本标签； S8： 将所述步骤S7约束模型得到的半监督模型作为推理模型， 将测试集的图像数据输 入到其中， 得到噪音标签数据分类的结果。 2.根据权利要求1所述的基于图一致性和半监督模型的标签含噪图像分类方法,其特 征在于： 使用包含噪声标签的全量数据进行ResNet50模型训练； 在模型训练阶段的第一个 epoch， 读取标签正确样本和标签错误样本数据； 对所述数据进行增强， 所述增强为进行翻 转、 裁剪、 移位数据增强； 将增强后的数据送入ResNet50模型， 并且同时训练两个ResNet50 模型； 模型输出概率分布， 根据概率分布计算交叉熵损失函数， 并进行反向传播， 从而训练 该模型并保存 模型参数。 3.根据权利要求2所述的基于图一致性和半监督模型的标签含噪图像分类方法,其特 征在于： 将模型输出的概率分布输入高斯混合模型， 通过高斯混合模 型进行分布计算， 混合 高斯模型 可以用下式表示： 用两个二维高斯分布两个聚类， 分量数 K＝2， 且满足： 其中， N(x∣ μk， ∑k)为： 混合模型中的第k个分量(component)； πk为： 每个分量N(x∣ μk， ∑k)的权重。 4.根据权利要求3所述的基于图一致性和半监督模型的标签含噪图像分类方法,其特 征在于： 所述 步骤S3包括： S301、 对于步骤三得到的p(x)， 如果p(x)大于等于0.5,其标签是正确的， 保存原始标 签； 如果p(x)小于 0.5,其标签是错 误的， 不保存标签； S302、 将有标签图像和无 标签图像一 起送入到半监 督模型准备训练。 5.根据权利要求1所述的基于图一致性和半监督模型的标签含噪图像分类方法,其特 征在于： 所述 步骤S4包括： S401、 对于所述有标签图像进行弱增 强操作， 对于所述无标签图像分别采用弱增 强技权　利　要　求　书 1/4 页 2 CN 114881125 A 2术和AutoAugment技术进行数据增强， 所述弱增强操作包括进行翻转、 裁剪和移位数据增 强； S402、 同时对所述有标签图像和所述无标签图像进行mixup操作； Mixup可以用以下公 式来表示： 其中， xi和xj代表输入图像， 对两张 图片做融合； yi和yj代表输入图像的标签， 标签形式 为独热编码格式， 对它 们的标签做融合； λ是一个融合比例取值范围为0 到1。 6.根据权利要求1所述的基于图一致性和半监督模型的标签含噪图像分类方法,其特 征在于： 所述 步骤S5包括： S501、 对于增强后的有标签图像， 作为半监督模型的有标签模块使用ResNet50模型进 行训练， 并且使用双网络结构； S502、 对于增强后的无标签图像， 作为半监督模型的无标签模块使用ResNet50模型进 行训练， 并且使用双网络结构， 其中弱增强后的一组无标签图像使用ResNet50模型训练完 成后生成概率分布结果， AutoAugment技术增强后的无标签图像使用ResNet50模型训练完 成后生成概 率分布表示、 embed ding表示以及特 征图级表示。 7.根据权利要求1所述的基于图一致性和半监督模型的标签含噪图像分类方法,其特 征在： 所述 步骤S6包括： S601、 对于所述步骤5中AutoAugment技术增强后的无标签图像训练得到的多尺度结 果， 使其都进行自相关计算， 首先使用概率 分布表示CU和其转置矩阵 进行相似度计算， 得 到自相关图 使用embed ding表示EU和其转置矩阵 进行相似度计算， 得到自相关图 使用特征图级表示FU和其转置矩阵 进行相似度计算， 得到自相关图 其中， t是温度超参数； S602、 对 进行归一 化处理： 权　利　要　求　书 2/4 页 3 CN 114881125 A 3