(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211284399.1 (22)申请日 2022.10.20 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 李亚南　沈倩倩　金纪勇　刘斌　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉　杨小凡 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/136(2017.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于超体素聚类及原型优化的图像 分割、 训 练方法及装置 (57)摘要 本发明公开了基于超体素聚类及原型优化 的图像分割、 训练方法及装置， 使用训练数据进 行无监督超体素聚类； 基于超体素聚类结果构造 基于伪标签的元学习训练数据集； 采用元学习训 练数据集构造基于原型优化的小样本医疗图像 分割网络； 将测试类的有 标签训练图片输入上述 小样本图像分割网络， 提取相应的图片特征， 根 据图片所对应的真实分割掩码， 计算该类别的类 原型向量； 将测试类的测试图片输入 上述网络提 取特征， 计算测试图片特征与类原型向量之间的 余弦相似度， 并基于相似度对原型进行优化； 计 算图片特征与优化后的原型向量之间的余弦相 似度， 并对余弦相似度进行归一化处理， 将相似 度大于分类阈值的位置， 预测为前景所在位置， 得到最终的分割结果。 权利要求书3页 说明书8页 附图4页 CN 115359074 A 2022.11.18 CN 115359074 A 1.一种基于超体素聚类及原型优化的图像分割训练方法， 其特 征在于包括如下步骤： 步骤S1： 对基础类的有标签 图像进行无监督超体素学习， 并将每个超体素当作一个对 象类； 步骤S2： 基于超体素的聚类结果， 构造基于伪标签的元学习情景训练数据集， 包括如下 步骤： 步骤S2.1： 将每个超体素作 为一种类别伪标签， 从每个超体素所包含的图像中， 选取一 组图像作为该类别对应的有标签训练数据， 标注超体素所在的位置， 构造图像所对应的分 割掩码， 得到超体素的训练数据集； 步骤S2.2： 从每个超体素的训练数据中抽取多组训练数据， 每组训练数据划分支持图 像和查询图像， 构成整个元 学习情景训练数据集； 步骤S3： 使用元学习情景训练数据集， 训练基于原型优化的图像分割网络， 包括如下步 骤： 步骤S3.1： 将支持图像与相应的真实分割掩码输入特征提取网络， 分别提取深度特征 及分割掩码， 根据分割掩码中超体素 所在位置， 抽取 前景对象的深度特 征； 步骤S3.2： 将前 景对象的深度特 征沿深度方向进行池化， 得到前 景原型向量； 步骤S3.3： 将前 景对象的深度特 征输入阈值学习器， 得到前 景分类阈值； 步骤S3.4： 将查询图像输入特征提取网络， 从提取的深度特征中， 计算每个位置处的特 征向量与前景原型向量之间的相似度， 并将相似度与前景分类阈值进行比较， 得到查询图 像的分割结果； 步骤S3.5： 基于查询图像的分割结果， 对前景原型向量进行全局优化， 获得优化后的前 景原型向量； 步骤S3.6： 重复步骤S3.4， 计算查询图像的深度特征与优化后的前景原型向量之间相 似度， 并获得最 终的预测分割结果， 通过预测分割结果与真实分割结果进 行比较， 优化整个 图像分割网络 。 2.根据权利要求1所述的基于超体素聚类及原型优化的图像分割训练方法， 其特征在 于： 所述步骤S3.3中， 阈值学习器为自适应阈值学习器， 采用两层全连接得到 。 3.根据权利要求1所述的基于超体素聚类及原型优化的图像分割训练方法， 其特征在 于： 所述步骤S3.4中， 计算 查询图像的深度特 征 与前景原型向量 的余弦相似度为： 其中， 表示查询图像的深度特征 中第m行第n列的特征向量， 表示尺度缩放 值。 4.根据权利要求1所述的基于超体素聚类及原型优化的图像分割训练方法， 其特征在 于： 所述步骤S3.4中， 对比相似度与前 景分类阈值的大小， 得到如下分割结果： 其中， 表示查询图像的深度特征中第m行第n列的特征向量与前景原型向量的相 似度，t表示前景分类阈值， σ 表示激活函数。权　利　要　求　书 1/3 页 2 CN 115359074 A 25.根据权利要求1所述的基于超体素聚类及原型优化的图像分割训练方法， 其特征在 于： 所述步骤S3.5中的全局优化， 是从分割结果中挑选预测得分最大的 K个特征向量， 采用 加权求和方式， 对前 景原型向量 进行优化更新， 更新后的前 景原型向量 为： 其中， 表示第j个最相似的查询图像的深度特征， 表示规整化后的权重， 表示 第j个最相似的查询图像的深度特征与前景原型向量 之间的规整化权重， 表示指数函 数， 用于对权 重进行规整化， 上 标 为超参数， 表示 与 的余弦相似度。 6.根据权利要求1所述的基于超体素聚类及原型优化的图像分割训练方法， 其特征在 于： 所述步骤S3.6中， 图像分割网络的优化， 采用交叉熵损失： 其中， H表示特征向量的行数， W表示特征向量的列数， 表示第m行第 n列的特征向 量的真实分割结果， 表示第m行第n列的特 征向量的预测分割结果。 7.根据权利要求6所述的基于超体素聚类及原型优化的图像分割训练方法， 其特征在 于： 所述步骤S3.6中， 同时考虑交叉熵损失和分类阈值损失， 总损失函数表示 为： 其中，β为超参数， 通过最小化总损失函数L， 优化整个图像分割网络 。 8.一种基于超体素聚类及原型优化的图像分割方法， 其特征在于： 基于权利要求1 ‑7任 一项所述的基于超体素聚类及原型优化的图像分割训练方法， 还 包括： 步骤S4： 在测试过程中， 输入测试类的有标签图像， 提取相应的图像特征， 根据图像所 对应的真实分割掩码， 计算该类别的前 景原型向量； 步骤S5： 将测试图像输入通过训练好的图像分割网络， 提取特征， 计算测试图像特征与 前景原型向量之间的相似度， 并基于相似度对前景原型向量进行优化， 迭代后得到预测分 割结果， 并基于真实分割结果进行验证。 9.一种基于超体素聚类及原型优化的图像分割训练装置， 用于权利要求1 ‑7任一项所 述的基于超体素聚类及原型优化的图像分割训练方法， 包括超体素学习模块、 训练数据集 构建模块和图像分割网络训练模块， 其特 征在于： 所述超体素学习模块， 对基础类的有标签图像进行无监督超体素学习， 并将每个超体 素当作一个对象类； 所述训练数据集构建模块， 基于超体素的聚类结果， 构造基于伪标签的元学习情景训 练数据集， 包括： 超体素训练数据集构建模块和元 学习情境训练数据集构建模块； 所述超体素训练数据集构建模块， 将每个超体素作为一种类别伪标签， 从每个超体素权　利　要　求　书 2/3 页 3 CN 115359074 A 3