(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210768995.0 (22)申请日 2022.06.30 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 黄梁华　刘宇　王彬　赵德丽　 周靖人　 (74)专利代理 机构 北京清源汇知识产权代理事 务所(特殊普通 合伙) 11644 专利代理师 汪洋 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 图像生成系统训练方法、 图像生 成方法以及 图像生成系统 (57)摘要 本申请公开了一种图像生 成系统训练方法， 至少包括以如下训练方法获得的图像生成模型： 获取多组样 本对， 每组样本对包括特征描述信息 和对应所述特征描述信息的目标图像； 将所述目 标图像以预定压缩方式， 压缩为目标压缩图像； 利用所述特征描述信息和所述目标压缩图像， 对 待训练图像生成模型进行训练， 以得到目标图像 生成模型； 根据所述特征描述信息提取的特征描 述数据作为所述待训练图像生成模型的训练输 入数据， 所述目标压缩图像作为训练结果的监督 数据。 本申请同时提供图像生 成方法， 系统。 本申 请所训练的图像生成系统， 能够通过提供多种类 别的特征描述信息获得图像， 该图像生成系统中 的图像生成模型生成压缩状态的图像， 所需要算 力明显降低。 权利要求书2页 说明书20页 附图7页 CN 115170825 A 2022.10.11 CN 115170825 A 1.一种图像生成系统训练方法， 其特征在于， 所述图像生成系统至少包括以如下训练 方法获得的图像生成模型： 获取多组样本对， 每组样本对包括特征描述信息和对应所述特征描述信息的目标图 像； 将所述目标图像以预定 压缩方式， 压缩为目标压缩图像； 利用所述特征描述信息和所述目标压缩图像， 对待训练图像生成模型进行训练， 以得 到目标图像生成模型； 其中， 根据所述特征描述信息提取 的特征描述数据作为所述待训练 图像生成模型的训练输入数据， 所述目标压缩图像作为训练结果的监 督数据。 2.根据权利要求1所述的图像生成系统 的训练方法， 其特征在于， 所述目标压缩图像作 为训练结果的监 督数据， 包括采用如下 方式对所述训练结果进行监 督： 对所述图像生成模型生成的结果压缩图像以与所述预定压缩方式对应的解压缩方式 进行解压缩， 生成结果目标图像； 使用所述结果目标图像与所述目标图像进行比对， 获得监 督结果。 3.根据权利要求1或2所述的方法， 其特征在于， 所述图像生成系统包括经过预训练的 特征提取模型； 所述利用所述特征描述信息和所述 目标压缩图像， 对待训练图像生成模型 进行训练， 以得到目标图像生成模型的步骤， 包括： 根据所述特 征描述信息的类别， 选择对应 类别的特 征提取模型； 使用所选择类别的所述特征提取模型， 对所述特征描述信息进行特征数据提取， 获得 特征描述数据； 将所述特 征描述数据作为待训练图像生成模型的训练输入数据。 4.根据权利要求3所述的方法， 其特征在于， 所述特征提取模型包括如下类型中的至少 一种： 针对文本类别的特 征描述信息的文本特 征提取模型； 针对图像 类型的特 征描述信息的图像特 征提取模型。 5.根据权利要求1或2所述的方法， 其特征在于， 所述特征描述信 息为图像信息时， 包括 以下类型的图像信息： 去色图像、 部分区域擦除图像、 加入噪声的图像。 6.根据权利要求1或者6所述的方法， 其特 征在于， 所述图像生成模型采用扩散模型。 7.一种图像生成方法， 其特 征在于， 包括： 获取待处 理的对图像特 征进行描述的特 征描述信息； 利用图像生成模型， 对所述特 征描述信息进行处 理， 生成目标压缩图像； 根据所述目标压缩图像， 以预定的解压缩方式进行解压缩， 获得目标图像。 8.根据权利要求7所述的图像生成方法， 其特征在于， 所述对所述特征描述信 息进行处 理的步骤之前， 包括如下步骤： 确定所述特 征描述信息的类别； 根据所述类别， 选择对应该类别的经 过预训练的特 征提取模型； 采用所选择的所述特征提取模型， 对所述特征描述信息进行特征数据提取， 获得特征 描述数据； 以所述特 征描述数据作为所述图像生成模型的直接 输入。 9.根据权利要求8所述的方法， 其特征在于， 所述特征提取模型包括如下类型中的至少权　利　要　求　书 1/2 页 2 CN 115170825 A 2一种： 针对文本类别的特 征描述信息的文本特 征提取模型； 针对图像 类型的特 征描述信息的图像特 征提取模型。 10.根据权利要求7所述的方法， 其特征在于， 所述获取待处理的对图像特征进行描述 的特征描述信息， 包括： 获取待处 理图像； 对所述待处理图像以如下至少一种处理方式进行处理， 获得处理后图像： 去色， 擦除部 分内容， 加入噪声信息； 将所述处 理后图像作为所述待处 理的对图像特 征进行描述的特 征描述信息 。 11.一种图像生成方法， 其特 征在于， 包括： 获取低分辨 率图像； 针对所述低分辨 率图像， 提取 所述低分辨 率图像的图像特 征数据； 将所述低分辨率图像的图像特征数据提供给图像超分模型， 得到具有高分辨率的高分 辨率目标图像； 所述图像超分模型采用 如下训练方式获得： 获取多组样本对， 每组样本对包括低分辨 率图像和对应所述低分辨 率图像的高分辨 率目标图像； 采用预训练的图像特 征提取模型， 提取 所述低分辨 率图像的图像特 征数据； 使用所述低分辨率图像的图像特征数据以及对应所述低分辨率图像的高分辨率目标 图像， 对待训练图像超分模型进行训练， 得到目标图像超分模型。 12.一种图像生成系统， 其特征在于， 至少包括特征提取模型， 图像生成模型， 图像压 缩‑解压缩模型； 所述特征提取模型用于接收针对图像的特征描述信 息， 并根据 所述特征描述信 息提取 特征描述数据； 所述图像生成模型， 用于根据所述特 征描述数据， 生成目标压缩图像； 所述图像压缩 ‑解压缩模型， 用于根据 所述目标压缩图像， 以预定的解压缩方式将所述 目标压缩图像解压缩， 获得目标图像。 13.根据权利要求12所述的图像生成系统， 其特 征在于， 包括： 图像超分模型； 所述图像超分模型， 用于接收从低分辨率图像所获得的特征描述数据， 并根据所述特 征描述数据生成高分辨 率图像。 14.一种电子设备， 其特 征在于， 包括： 处理器； 存储器， 用于存储计算机程序， 该计算机程序被处理器运行， 执行权利要求1至11任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115170825 A 3