(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210476091.0 (22)申请日 2022.04.29 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 谢宇　付彦伟　邰颖　朱俊伟　 曹赟　汪铖杰　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06V 10/80(2022.01) G06K 9/62(2022.01) G06N 3/08(2006.01) G06V 10/82(2022.01)G06V 10/774(2022.01) (54)发明名称 图像生成模型的训练方法、 图像生成方法、 装置及设备 (57)摘要 本申请公开一种图像生 成模型的训练方法、 图像生成方法、 装置及设备， 属于人工智能技术 领域。 方法包括： 获取样本图像和神经网络模型； 根据神经网络模 型， 从样本图像中提取第一样本 特征， 第一样本特征与样本图像的图像类别相 关； 从神经网络模型的记忆特征集合中选择第一 记忆特征， 根据神经网络模型， 将第一样本特征 和第一记忆特征进行融合， 基于融合结果生成任 一张预测图像， 第一记忆特征是神经网络模型学 习到的且与图像类别无关的特征； 根据至少两张 预测图像， 对神经网络模型进行调整， 得到图像 生成模型。 本申请的预测图像在保证图像类别与 样本图像的图像类别相同的基础上， 结合模型学 习到的与图像类别无关的信息， 使得预测图像具 有内容多样性。 权利要求书3页 说明书22页 附图6页 CN 115131635 A 2022.09.30 CN 115131635 A 1.一种图像生成模型的训练方法， 其特 征在于， 所述方法包括： 获取样本图像和 神经网络模型； 根据所述神经网络模型， 从所述样本 图像中提取第一样本特征， 所述第一样本特征与 所述样本图像的图像 类别相关； 从所述神经网络模型的记忆特征集合中选择第 一记忆特征， 根据 所述神经网络模型将 所述第一样本特征和所述第一记忆特征进行融合， 基于融合结果生成任一张预测图像， 所 述第一记 忆特征是所述神经网络模型 学习到的且与图像 类别无关的特 征； 根据至少两张预测图像对所述神经网络模型进行调整， 得到图像生成模型。 2.根据权利要求1所述的方法， 其特 征在于， 所述第一记 忆特征为至少两个； 所述将所述第 一样本特征和所述第 一记忆特征进行融合， 基于融合结果生成任一张预 测图像， 包括： 对至少两个第一记 忆特征进行插值处 理， 得到插值特 征； 将所述第一样本特征和所述插值特征进行融合， 基于 融合结果生成所述任一张预测图 像。 3.根据权利要求1所述的方法， 其特征在于， 所述根据至少两张预测图像对所述神经网 络模型进行调整， 得到图像生成模型之前， 还 包括： 获取所述样本图像的图像 类别和各张预测图像的图像 类别； 所述根据至少两张预测图像对所述神经网络模型进行调整， 得到图像生成模型， 包括： 根据至少两张预测图像、 所述样本 图像的图像类别和所述各张预测图像的图像类别， 对所述神经网络模型进行调整， 得到图像生成模型。 4.根据权利要求1所述的方法， 其特征在于， 所述根据至少两张预测图像对所述神经网 络模型进行调整， 得到图像生成模型之前， 还 包括： 获取各张预测图像的真实性标注结果和真实性预测结果； 所述根据至少两张预测图像对所述神经网络模型进行调整， 得到图像生成模型， 包括： 根据至少两张预测图像、 所述各张预测图像的真实性标注结果和真实性预测结果， 对 所述神经网络模型进行调整， 得到图像生成模型。 5.根据权利要求1所述的方法， 其特征在于， 所述获取样本 图像和神经网络模型之后， 还包括： 根据所述神经网络模型， 从所述样本 图像中提取第二样本特征， 所述第二样本特征与 所述样本图像的图像 类别无关； 根据所述第一样本特 征和所述第二样本特 征， 生成重建图像； 所述根据至少两张预测图像对所述神经网络模型进行调整， 得到图像生成模型， 包括： 根据至少两张预测图像、 所述重建图像和所述样本 图像， 对所述神经网络模型进行调 整， 得到图像生成模型。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述第 一样本特征和所述第 二样 本特征， 生成重建图像， 包括： 对所述第二样本特 征进行编码处 理， 得到编码信息； 基于所述编码信息， 从所述神经网络模型的记忆特征集合中选择第二记忆特征， 所述 第二记忆特征是所述神经网络模型学习到的特征， 所述第二记忆特征与图像类别无关， 且权　利　要　求　书 1/3 页 2 CN 115131635 A 2与所述第二样本特 征相关； 基于所述第二记 忆特征和所述第一样本特 征， 生成重建图像。 7.根据权利要求5所述的方法， 其特征在于， 所述根据至少两张预测图像、 所述重建图 像和所述样本图像， 对所述神经网络模型进行调整， 得到图像生成模型， 包括： 根据所述重建图像和所述样本图像， 确定第一损失值； 根据所述至少两张预测图像， 确定第二损失值； 基于所述第一损 失值和所述第二损 失值， 对所述神经网络模型进行调整， 得到 图像生 成模型。 8.根据权利要求5所述的方法， 其特征在于， 所述根据至少两张预测图像、 所述重建图 像和所述样本图像， 对所述神经网络模型进行调整， 得到图像生成模型之前， 还 包括： 获取所述重建图像的真实性标注结果和真实性预测结果、 各张预测图像的真实性标注 结果和真实性预测结果； 所述根据至少两张预测图像、 所述重建图像和所述样本 图像， 对所述神经网络模型进 行调整， 得到图像生成模型， 包括： 根据所述重建图像的真实性标注结果和真实性预测结果、 所述各张预测图像的真实性 标注结果和真实性预测结果、 所述重 建图像、 所述样本图像和所述至少两张预测图像， 对所 述神经网络模型进行调整， 得到图像生成模型。 9.一种图像生成方法， 其特 征在于， 所述方法包括： 获取参考图像和图像生成模型， 所述图像生成模型是按照权利要求1至8任一项所述的 图像生成模型的训练方法训练得到的； 根据所述图像生成模型， 从所述参考图像中提取目标特征， 所述目标特征与所述参考 图像的图像 类别相关； 从所述图像生成模型的记忆特征集合中选择目标记忆特征， 所述目标记忆特征是所述 图像生成模型 学习到的且与图像 类别无关的特 征； 根据所述图像生成模型将所述目标特征和所述目标记忆特征进行融合， 基于融合结果 生成目标图像。 10.一种图像生成模型的训练装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取样本图像和 神经网络模型； 提取模块， 用于根据 所述神经网络模型， 从所述样本图像 中提取第一样本特征， 所述第 一样本特 征与所述样本图像的图像 类别相关； 选择生成模块， 用于从所述神经网络模型的记忆特征集合中选择第一记忆特征， 根据 所述神经网络模型将所述第一样本特征和所述第一记忆特征进行融合， 基于融合结果生成 任一张预测图像， 所述第一记忆特征是所述神经网络模型学习到的且与图像类别无关的特 征； 调整模块， 用于根据至少两张预测图像对所述神经网络模型进行调整， 得到 图像生成 模型。 11.一种图像生成装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取参考图像和图像生成模型， 所述图像生成模型是按照权利要求1至 8任一项所述的图像生成模型的训练方法训练得到的；权　利　要　求　书 2/3 页 3 CN 115131635 A 3