(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111672616.X (22)申请日 2021.12.31 (71)申请人 上海壁仞智能科技有限公司 地址 201100 上海市闵行区陈行公路238 8 号16幢13层13 02室 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京市柳沈 律师事务所 11105 代理人 彭久云 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01)G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/772(2022.01) (54)发明名称 训练方法及装置、 图像处理方法、 电子设备 和存储介质 (57)摘要 一种训练方法及装置、 图像处理方法、 电子 设备和存储介质。 该训练处理方法包括： 获取训 练图像； 利用图像处理网络对训练图像进行特征 提取处理， 得到与多个像素点一一对应的多个训 练特征向量； 获取特征字典； 基于多个图像特征 向量对多个训练特征向量进行编码处理， 得到与 多个训练特征向量一一对应的多个编码向量； 根 据多个编码向量和多个训练特征向量对图像处 理网络进行图像 分割训练。 该图像处理方法通过 特征字典整合、 收集图像特征， 从而通过特征字 典可以对每张图像的分割提供更精确的引导， 提 升图像分割精度。 权利要求书3页 说明书17页 附图6页 CN 114330711 A 2022.04.12 CN 114330711 A 1.一种图像处 理网络的训练方法， 包括： 获取训练图像， 其中， 所述训练图像包括阵列排布的多个 像素点； 利用所述图像处理网络对所述训练图像进行特征提取处理， 得到与 所述多个像素点一 一对应的多个训练特 征向量； 获取特征字典， 其中， 所述特 征字典包括多个图像特 征向量； 基于所述多个图像特征向量对所述多个训练特征向量进行编码处理， 得到与 所述多个 训练特征向量一一对应的多个编码向量； 根据所述多个编码向量和所述多个训练特征向量对所述图像处理网络进行图像分割 训练。 2.根据权利要求1所述的训练方法， 其中， 所述训练图像不具有对应的分割标签， 对所 述图像处 理网络进行的训练为无监 督训练。 3.根据权利要求1所述的训练方法， 其中， 获取 特征字典， 包括： 获取预先训练过的图像处 理网络对应的特 征字典作为所述特 征字典。 4.根据权利要求1所述的训练方法， 其中， 获取 特征字典， 包括： 根据所述多个训练特征向量， 对所述多个像素点进行聚类处理， 得到K个代表特征向 量， 其中， 所述多个图像特 征向量包括所述K个代 表特征向量， K为 正整数。 5.根据权利要求4所述的训练方法， 其中， 根据所述多个训练特征向量， 对所述多个像 素点进行聚类处 理， 得到K个代 表特征向量， 包括： 根据所述多个训练特征向量， 对所述多个像素点进行K均值聚类处理或层次聚类处理， 以将所述多个 像素点划分为K个第一聚类； 确定所述K个第一聚类的中心； 将所述K个第一聚类的中心分别对应的K个训练特 征向量作为所述K个代 表特征向量。 6.根据权利要求 4所述的训练方法， 其中， 获取 特征字典， 还 包括： 获取K个历史代 表特征向量； 其中， 所述多个图像特 征向量还 包括所述K个历史代 表特征向量。 7.根据权利要求6所述的训练方法， 其中， 在得到所述多个训练特征向量一一对应的多 个编码向量之后， 所述方法还 包括： 更新所述特 征字典。 8.根据权利要求7 所述的训练方法， 其中， 更新所述特 征字典， 包括： 根据所述多个编码向量， 对所述多个像素点进行聚类处理， 得到N个第二聚类， 其中， N 为大于等于K的正整数； 确定每个第二聚类包括的像素点的总数， 以得到N个 群体数量； 根据所述N个群体数量， 从所述N个第二聚类中选择K个第二聚类， 其中， 所述K个第二聚 类的群体数量均大于等于所述N个第二聚类中除所述K个第二聚类以外的N ‑K个第二聚类的 群体数量； 确定所述K个第二聚类的中心； 将所述K个第 二聚类的中心分别对应的K个训练特征向量作为下一轮训练时的K个历史 代表特征向量。 9.根据权利要求8所述的训练方法， 其中， N ＝2K。权　利　要　求　书 1/3 页 2 CN 114330711 A 210.根据权利要求1所述的训练方法， 其中， 基于所述特征字典对所述多个特征向量进 行编码处 理， 得到与所述多个训练特 征向量一一对应的多个编码向量， 包括： 针对所述多个训练特 征向量中的第i个训练特 征向量： 将所述第i个训练特征向量与所述多个图像特征向量分别进行相似度计算， 以得到所 述第i个训练特 征向量对应的多个相似度值； 将所述多个相似度值作为所述第i个训练特 征向量对应的编码向量， 其中， i为正整数且小于等于所述多个训练特 征向量的总数。 11.根据权利要求1所述的训练方法， 其中， 根据所述多个编码向量和所述多个训练特 征向量对所述图像处 理网络进行训练， 包括： 根据所述多个编码向量， 对所述多个像素点进行聚类处理， 得到所述训练图像对应的 伪分割标签； 根据所述伪分割标签和所述多个训练特 征向量， 对所述图像处 理网络进行训练。 12.根据权利要求11所述的训练方法， 其中， 根据所述多个编码向量， 对所述多个像素 点进行聚类处 理， 得到所述训练图像对应的伪分割标签， 包括： 根据所述多个编码向量， 对所述多个像素点进行聚类处理， 得到M个第三聚类， 其中， M 为正整数； 根据所述M个第 三聚类， 对所述多个像素点进行标记， 以得到所述伪分割标签， 其中， 每 个第三聚类包括的像素点被标记为属于同一类别。 13.根据权利要求11所述的训练方法， 其中， 根据 所述伪分割标签和所述多个训练特征 向量， 对所述图像处 理网络进行训练， 包括： 根据所述伪分割标签和所述多个训练特征向量， 通过所述图像处理网络对应的损失函 数计算所述图像处 理网络的损失值； 以及 基于所述损失值对所述图像处 理网络的参数进行修 正； 在所述图像处理网络对应的损失值不满足预定条件时， 继续输入所述训练图像以重复 执行上述训练过程。 14.根据权利要求1 ‑13任一项所述的训练方法， 其中， 获取训练图像， 包括： 获取原始图像； 对所述原 始图像进行多尺度处 理， 得到具有不同清晰度的多个处 理图像； 对所述多个处 理图像进行 连接处理， 得到所述训练图像。 15.根据权利要求14所述的训练方法， 其中， 对所述原始图像进行多尺度处理， 得到具 有不同清晰度的多个处 理图像， 包括： 获取多个缩放比例； 根据所述多个缩放比例对所述原始图像进行尺寸缩放处理， 得到与 所述多个缩放比例 分别对应的多个中间图像； 对所述多个 中间图像进行尺寸恢 复处理， 得到所述多个处理图像， 其中， 所述多个处理 图像的尺寸均 与所述原 始图像的尺寸相同。 16.根据权利要求1 ‑13任一项所述的训练方法， 其中， 获取训练图像， 包括： 获取训练图像数据集， 其中， 所述训练图像数据集包括多个属于同一类型的原 始图像； 遍历所述训练图像数据集中的所有原始图像， 将所述所有原始图像依次作为所述训练权　利　要　求　书 2/3 页 3 CN 114330711 A 3