(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211215498.4 (22)申请日 2022.09.28 (71)申请人 山东聚祥机 械股份有限公司 地址 274900 山东省菏泽市巨野县城彭泽 路西段路南 (72)发明人 杨纪冲　薛冰　薛垂帅　沈胜庆　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 张庆骞 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于多尺度类别原型的弱监督图像语义分 割方法及系统 (57)摘要 本发明公开了一种基于多尺度类别原型的 弱监督图像语义分割方法及系统， 涉及计算机视 觉技术领域。 通过获取待处理图像特征图， 设置 三组原型向量集合， 利用原型对 特征图进行目标 像素定位生成类别特征图。 将类别特征图融合并 进行图像分类学习； 提取类别特征图中的类别激 活图得到图像类别掩码， 进而获得类别分割图。 通过使用类别原型机制， 从图像特征图中发掘类 别的位置和语义， 准确推断对象的语音信息和像 素位置。 提取语义信息后， 采用多尺度原型能够 更好的融合不同粒度级别的语义信息， 大大提高 了弱监督前置分类任务对目标的定位能力。 权利要求书2页 说明书5页 附图1页 CN 115482387 A 2022.12.16 CN 115482387 A 1.一种基于多尺度类别原型的弱监 督图像语义分割方法， 其特 征在于， 包括以下步骤： 收集待分割图像， 标注每张图像的类别， 对图像进行预处理； 将图像输入特征提取网络 中获取特征图； 设置三组原型向量 集合， 并对原型进行初始化； 利用原型对特征图进行目标像素定位生成类别特征图； 具体步骤为： 使用原型逐像素 对特征图进行点乘， 每 个原型产生 一个一通道特征图； 将类别特征图融合并进行图像分类学习； 类别特征图融合的具体过程为： 三组原型产 生了三个类别特征图； 三个类别特征图尺寸都经过缩放后进行调和相加， 然后送入卷积中 进行处理得到处 理后的特 征图； 提取类别特 征图中的类别激活图得到图像 类别掩码， 进 而获得类别分割图。 2.如权利要求1所述的基于多尺度类别原型的弱监督图像语义分割方法， 其特征在于， 对图像进行 预处理的具体步骤为： 将图像尺寸 等比例缩放， 对每 个像素元素进行正则化。 3.如权利要求1所述的基于多尺度类别原型的弱监督图像语义分割方法， 其特征在于， 对原型进行初始化的具体步骤为： 使用随机数初始化三组原型向量集合， 每组包含总类别 个数个类别原型。 4.如权利要求1所述的基于多尺度类别原型的弱监督图像语义分割方法， 其特征在于， 图像分类学习的具体步骤为： 对得到的经卷积处理后的特征图进行全局平均池化， 得到特 征向量， 直接使用该 特征向量计算交叉熵损失。 5.如权利要求1所述的基于多尺度类别原型的弱监督图像语义分割方法， 其特征在于， 使用类激活图算法提取类别激活图， 通过 上采样得到原图大小的图像 类别掩码。 6.一种基于多尺度类别原型的弱监 督图像语义分割 系统， 其特 征在于， 包括： 图像处理模块， 被配置为收集待分割图像， 标注每张图像的类别， 对图像进行预处理； 将图像输入特 征提取网络中获取 特征图； 原型构建模块， 被 配置为设置三组原型向量 集合， 并对原型进行初始化； 目标像素定位模块， 被配置为利用原型对特征图进行目标像素定位生成类别特征图； 具体步骤为： 使用原型 逐像素对特 征图进行点乘， 每 个原型产生 一个一通道特征图； 分类学习模块， 被配置为将类别特征图融合并进行图像分类学习； 类别特征图融合的 具体过程为： 三组原型产生了三个类别特征图； 三个类别特征图尺寸都经过缩放后进行调 和相加， 然后送入卷积中进行处 理得到处 理后的特 征图； 类别分割图生成模块， 被配置为提取类别特征图中的类别激活图得到 图像类别掩码， 进而获得类别分割图。 7.如权利要求6所述的基于多尺度类别原型的弱监督图像语义分割系统， 其特征在于， 图像处理模块对图像进行预处理时被配置为， 将图像尺寸等比例缩放， 对每个像素元素进 行正则化。 8.如权利要求6所述的基于多尺度类别原型的弱监督图像语义分割系统， 其特征在于， 原型构建模块对原型进行初始化时被配置为， 使用随机数初始化三组原型向量集合， 每组 包含总类别个数个 类别原型。 9.如权利要求6所述的基于多尺度类别原型的弱监督图像语义分割系统， 其特征在于， 分类学习模块进 行图像分类学习时被配置为， 对得到的经卷积处理后的特征图进 行全局平权　利　要　求　书 1/2 页 2 CN 115482387 A 2均池化， 得到特 征向量， 直接使用该 特征向量计算交叉熵损失。 10.如权利要求6所述的基于多尺度类别原型的弱监督图像语义分割系统， 其特征在 于， 类别分割图生成模块还被配置为使用类激活图算法提取类别激活图， 通过上采样得到 原图大小的图像 类别掩码。权　利　要　求　书 2/2 页 3 CN 115482387 A 3