(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210508810.2 (22)申请日 2022.05.10 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 黄雅雯　郑冶枫　张乐　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 图像重建模 型的训练方法、 装置、 设备、 介质 及程序产品 (57)摘要 本申请公开了一种图像重建模型的训练方 法、 装置、 设备、 介质及程序产品， 属于图像处理 技术领域。 包括： 获取第一样本图像和至少两种 第二样本图像； 将至少两种第二样 本图像对应的 损坏特征分别添加至第一样本图像中， 生成至少 两种单一退化图像； 将至少两种单一退化图像进 行融合， 得到第一样本图像对应的多重退化图 像； 将多重退化图像进行图像重建处理， 生成多 重退化图像对应的预测重建图像； 基于第二样本 图像、 单一退化图像、 第一样本图像及预测重建 图像， 计算损失函数值； 基于损失函数值对模型 的模型参数进行更新。 通过上述方法训练得到的 模型， 可以同时重建图像的多种损坏类型， 避免 了依次重建图像导致的累积误差， 提升了模型的 图像重建精度。 权利要求书3页 说明书21页 附图8页 CN 115115900 A 2022.09.27 CN 115115900 A 1.一种图像重建模型的训练方法， 其特 征在于， 所述方法包括： 获取第一样本图像和至少两种第 二样本图像， 所述第 二样本图像是指带有单一损坏类 型的图像， 所述第一样本图像的图像质量高于所述第二样本图像的图像质量； 将至少两种所述第 二样本图像对应的损 坏特征分别添加至所述第 一样本图像中， 生成 至少两种单一退化图像； 将至少 两种所述单一退化图像进行融合， 得到所述第一样本图像 对应的多重退化图像， 所述多重退化图像是指带有至少两种损坏类型的图像； 将所述多重退化图像进行图像重建处理， 生成所述多重退化图像对应的预测重建图 像； 基于所述第 二样本图像、 所述单一退化图像、 所述第 一样本图像及所述预测重建图像， 计算损失函数值； 基于所述损失函数值对所述图像重建模型的模型参数进行 更新。 2.根据权利要求1所述的方法， 其特征在于， 所述将至少两种所述第 二样本图像对应的 损坏特征分别添加至所述第一样本图像中， 生成至少两种单一退化图像， 包括： 获取所述第 一样本图像对应的第 一特征， 以及 分别获取至少两种所述第 二样本图像对 应的第二特征， 所述第一特征用来表征所述第一样本图像的图像特征， 所述第二特征用来 表征所述第二样本图像的图像特 征； 基于所述第一特 征及所述第二特 征， 得到所述第二样本图像对应的所述损坏特 征； 将所述损 坏特征添加至所述第 一样本图像的所述第 一特征中， 得到所述第 一样本图像 对应的所述单一退化图像。 3.根据权利要求2所述的方法， 其特征在于， 所述图像重建模型包括退化网络层， 所述 退化网络层包括第一退化编码器； 所述获取所述第 一样本图像对应的第 一特征， 以及 分别获取至少两种所述第 二样本图 像对应的第二特 征， 包括： 通过所述第 一退化编码器提取所述第 一样本图像对应的第 一特征， 以及通过所述第 一 退化编码器分别提取至少两种所述第二样本图像对应的第二特 征。 4.根据权利要求2所述的方法， 其特征在于， 所述图像重建模型包括退化网络层， 所述 退化网络层包括损坏内核提取器； 所述基于所述第一特征及所述第二特征， 得到所述第二样本图像对应的所述损坏特 征， 包括： 通过对比所述第一特征及所述第二特征， 确定所述损坏特征， 并通过所述损坏内核提 取器从所述第二特 征中， 解耦得到所述第二样本图像对应的所述损坏特 征。 5.根据权利要求2所述的方法， 其特征在于， 所述图像重建模型包括退化网络层， 所述 退化网络层包括第一退化 解码器； 所述将所述损坏特征添加至所述第 一样本图像的所述第 一特征中， 得到所述第 一样本 图像对应的所述单一退化图像， 包括： 将所述损坏特征添加至所述第一样本 图像的所述第一特征中， 得到中间第一特征， 并 将所述中间第一特征输入至所述第一退化解码器进行解码处理， 得到所述第一样本图像对 应的所述单一退化图像。 6.根据权利要求1所述的方法， 其特征在于， 所述将至少两种所述单一退化图像进行融权　利　要　求　书 1/3 页 2 CN 115115900 A 2合， 得到所述第一样本图像对应的多重退化图像， 包括： 获取至少两种所述单一退化图像对应的第三特征， 并将所述第三特征进行融合， 得到 所述第一样本图像对应的所述多重退化图像， 所述第三特征用来表征所述单一退化图像的 图像特征。 7.根据权利要求6所述的方法， 其特征在于， 所述图像重建模型中的退化网络层还包括 第二退化编码器和第二退化 解码器； 所述获取至少两种所述单一退化图像对应的第三特征， 并将所述第三特征进行融合， 得到所述第一样本图像对应的所述多重退化图像， 包括： 通过所述第 二退化编码器获取至少两种所述单一退化图像对应的第 三特征， 并将所述 第三特征进行融合， 得到退化融合特 征； 通过所述第 二退化解码器对所述退化融合特征进行解码处理， 生成所述第 一样本图像 对应的所述多重退化图像。 8.根据权利要求1所述的方法， 其特征在于， 所述图像重建模型包括重建网络层， 所述 重建网络层包括重建编码器和重建解码器； 所述将所述多重退化图像进行图像重建处理， 生成所述多重退化图像对应的预测重建 图像， 包括： 将所述多重退化图像输入至所述重建编码器进行 特征提取， 得到所述图像重建特 征； 通过所述重建解码器对所述图像重建特征进行解码处理， 生成所述多重退化图像对应 的所述预测重建图像。 9.根据权利要求1所述的方法， 其特征在于， 所述损失函数值包括第 一损失函数值和第 二损失函数值， 所述第一损失函数值用于衡量所述第二样本图像与所述第二样本图像对应 的所述单一退化图像之 间的相似度， 所述第二损失函数值用于衡量所述预测重 建图像的真 实度； 所述基于所述第二样本 图像、 所述单一退化图像、 所述第一样本 图像及所述预测重建 图像， 计算损失函数值， 包括： 基于所述第 二样本图像对应的第 二特征及所述单一退化图像对应的第 三特征， 计算所 述第一损失函数值； 基于所述第 一样本图像对应的第 一特征及所述预测重建图像对应的第四特征， 计算所 述第二损失函数值， 所述第四特 征用来表征 所述预测重建图像的图像特 征； 所述基于所述损失函数值对所述图像重建模型的模型参数进行 更新， 包括： 基于所述第一损失函数值及所述第二损失函数值的和对所述图像重建模型的模型参 数进行更新。 10.根据权利要求9所述的方法， 其特征在于， 所述基于所述第二样本图像对应的第二 特征及所述单一退化图像对应的第三特 征， 计算所述第一损失函数值， 包括： 基于至少两种所述第 二样本图像中第 i种第二样本图像对应的第 二特征及至少两种所 述单一退化图像中第i种单一退化图像对应的第三特征， 计算所述第一损失函数值， i为正 整数。 11.根据权利要求9所述的方法， 其特征在于， 所述损失函数值还包括第三损失函数值 和第四损失函数值， 所述第三损失函数值用于衡量所述多重退化图像及所述第一样本图像权　利　要　求　书 2/3 页 3 CN 115115900 A 3