(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210442111.2 (22)申请日 2022.04.25 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 许林峰　王姮冰　孟凡满　吴庆波　 潘力立　李宏亮　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 周刘英 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于类间相似性的弱监 督语义分割方法 (57)摘要 本发明公开了一种基于类间相似性的弱监 督语义分割方法， 属于弱监督语义分割领域。 本 发明包括： 基于每个类别的特征通过聚类方法将 相似类进行合并得到新类， 重新生成数据集中每 个样本在新类上的标签； 基于原始标签搭建分类 网络， 提取对应的类激活谱， 将其与阈值比较获 取判别性区域， 从原图中擦除判别性区域， 将其 送入基于新标签 建立的分类网络， 完成对抗擦除 模型的搭建； 基于训练好的对抗擦除模型， 提取 类激活谱， 依次经过类激活谱增强模块和融合模 块的处理， 得到最终的类激活谱， 再将其与前景 背景阈值比较得到伪标注， 基于该伪标注对语义 分割模型进行训练， 得到训练好的分割模型。 本 发明提升 了图像的弱监 督语义分割的分割准确。 权利要求书2页 说明书8页 附图1页 CN 114677515 A 2022.06.28 CN 114677515 A 1.基于类间相似性的弱监 督语义分割方法， 其特 征在于， 包括下列步骤： 步骤1， 建立 新标签： 通过特征提取网络提取预置的第 一图像数据集的每个类别的图像特征， 基于提取的图 像特征通过聚类方法对相似类进 行合并得到新类， 并重新生成第一图像数据集中每个样本 图像在新类上的标签； 步骤2， 搭建对抗擦除模型： 基于第一图像数据集的原始标签， 搭建第一分类网络， 所述第一分类网络包括特征提 取网络和分类 器， 所述分类 器包括至少一层全连接层； 基于第一图像数据集对所述第一分类网络进行训练， 得到训练好的第一分类网络； 将第一图像数据集中的样本图像输入训练好的第 一分类网络， 基于其特征提取网络的 输出得到样本特征图， 并将训练好的第一分类网络的分类器的最后一层全连接层的权重作 为样本特 征图的通道权 重， 对各样本特 征图的按通道进行加权求和生成第一类激活谱； 将所述第 一类激活谱阈值进行比较， 若大于或等于， 则确定为判别性区域， 并从当前样 本图像中擦除判别性区域得到新样本图像， 基于新样本图像和新标签得到第二图像数据 集； 基于第二图像数据集搭建第 二分类网络， 所述第 二分类网络与第 一分类网络的网络结 构相同； 并基于第二图像数据集对所述第二分类网络进行训练， 基于训练好的第二分类网 络得到对抗擦除模型； 步骤3， 类激活谱融合： 将新样本 图像输入对抗擦 除模型， 基于其特征提取网络的输出得到第二样本特征图， 并将对抗擦除模型的分类器的最后一层 全连接层的权重作为第二样本特征图的通道权重， 对各第二样本特 征图的按通道进行加权求和生成第二类激活谱； 对第一和第二类激活谱进行合并处 理， 生成最终的类激活谱； 步骤4， 生成伪标注： 若最终的类激活谱大于或等于前景阈值， 则将最终的类激活谱对应的像素划分为前 景； 若最终的类激活谱小于背 景阈值， 则将最 终的类激活谱对应的像素划分为背 景； 剩余像 素则填充为白色； 步骤5， 训练语义分割模型： 将生成的伪标注作为监督信 息， 并基于第 一图像数据集对采用的语义分割模型进行训 练， 当满足预置的训练结束条件时， 得到训练好的语义分割模型。 2.如权利要求1所述的方法， 其特征在于， 所述步骤1中， 基于提取的图像特征通过聚类 方法对相似类进行合并具体为： 基于单个样本图像的图像特征Fi， 对其按类别划分， 取特征均值得到每个类别的特征： 其中， Cj表示第j个类别的特征， yi,j表示样本图像i的第j个类别的标签值， 若样 本图像i包 含第j类物体， 则yi,j为1， 否则yi,j为0； 基于每个类别的特征进行聚类处理， 将每个聚类结果作为一种新类， 并设置对应的新 标签。 3.如权利要求1所述的方法， 其特征在于， 进一步的， 所述分类器包括一层设置有权　利　要　求　书 1/2 页 2 CN 114677515 A 2softmax函数全连接层。 4.如权利要求1所述的方法， 其特 征在于， 第一、 第二类激活谱的具体 计算方式为： 其中， Oi,j表示样本图像i第j类的第一或第二类激活谱， R()表示正则化， 表示第一 或第二分类器的最后一层全连接的权重， 表示样本图像的样本特征图， 下标m表示通道 标识， j表示类别标识， i表示样本图像标识。 5.如权利要求1所述的方法， 其特征在于， 步骤2中， 新样本图像为Ii′＝∑jyi,j[Ii⊙(1‑ Di,j)]， 其中， Ii表示第一图像数据集的第i幅样本图像， yi,j表示样本图像i的第j个类别的 标签值， 若样本图像i包含第j类物体， 则yi,j为1， 否则yi,j为0， Di,j表示判别性区域标识， Di,j 为1表示判别性区域， Di,j为0表示非判别性区域， ⊙代表点乘运 算。 6.如权利要求1所述的方法， 其特征在于， 所述对抗擦除模型在训练时采用的损失函数 为： 其中， s和s ′分别表示第一和第二分类网络的预测结 果， y和y′分别表示原始标签和新 标签； λ1和 λ2表示两个平衡系数， 用来调整每部分对总损失 的贡献， 以保证训练的稳定， 即λ1和 λ2分别表示第一和第二分类网络的损失权重， 表 示交叉熵损失函数。 7.如权利要求1所述的方法， 其特征在于， 所述步骤2中， 确定判别性区域时， 首先对第 一类激活谱进行增强处 理， 再基于增强处 理后的第一类激活谱进行判别性区域确定； 和/或者所述步骤3中， 对第一和第二类激活谱进行合并处理前， 分别对第一和第二类 激活谱进行增强处 理， 再基于增强处 理后的第一和第二类激活谱进行合并处 理。 8.如权利要求7 所述的方法， 其特 征在于， 所述增强处 理具体为： 对分类网络的特征提取网络输出的样本特征图F进行转置和尺寸调整处理， 得到两个 新的特征图F1和F2， 并根据公式得到亲和力矩阵M： 其中， ‖·‖代表2‑范数运 算； 定义b×h×w表示样本特征图F尺寸， 其中， b表示通道数， h ×w表示样本特征图的大小， 则特征图F1的尺寸为b×hw， 特征图F2的尺寸为hw×b； 将类激活谱与其对应的亲和力矩阵M进行矩阵相乘得到增强后的增强后的类激活谱。 9.如权利要求1至8任一项所述的方法， 其特征在于， 步骤3中， 对第一和第二类激活谱 进行合并处 理具体为： 第一类激活谱 减去干扰区域后， 再与第二类激活谱相加， 生成最终的类激活谱； 其中， 干扰区域的具体生成方式为： Zi,j表示样本图像i的 第j类的干扰区域， n表示类别标识符， Ai,n表示第一类激活谱或增强后的第一类激活谱。 10.如权利 要求1所述的方法， 其特征在于， 所述分类器包括一层设置有softmax函数全 连接层。权　利　要　求　书 2/2 页 3 CN 114677515 A 3