(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210037593.3 (22)申请日 2022.01.13 (65)同一申请的已公布的文献号 申请公布号 CN 114399440 A (43)申请公布日 2022.04.26 (73)专利权人 马上消费金融股份有限公司 地址 404100 重庆市渝北区黄山大道中段 52号渝兴广场B2栋4至8楼 (72)发明人 陈圣　曾定衡　皮家甜　吴至友　 李长林　 (74)专利代理 机构 北京银龙知识产权代理有限 公司 11243 专利代理师 汤明明 (51)Int.Cl. G06T 5/00(2006.01)G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) (56)对比文件 CN 112712527 A,2021.04.27 CN 110473154 A,2019.1 1.19 CN 112837247 A,2021.0 5.25 CN 113642779 A,2021.1 1.12 CN 110929577 A,2020.0 3.27 牟新刚等.基 于残差编解码网络的红外图像 自适应校正 算法. 《红外技 术》 .2020,(第09期), 审查员 王晓婧 (54)发明名称 图像处理方法、 图像处理网络训练方法、 装 置及电子设备 (57)摘要 本申请提供一种图像处理方法、 图像处理网 络训练方法及电子设备， 该图像处理方法包括： 获取待处理图像； 利用目标图像去噪网络对待处 理图像进行去噪处理， 得到目标去噪图像； 其中， 目标图像去噪网络包括依次连接的目标特征融 合网络、 目标级联特征提取网络以及第一卷积 层， 目标特征融合网络用于对待处理图像进行特 征提取， 以及对提取的第一特征图和第二特征图 进行特征融合， 得到目标融合特征图， 目标级联 特征提取网络用于对目标融合特征图进行特征 提取， 得到目标特征图， 第一卷积层用于对目标 特征图进行卷积处理， 得到目标去噪图像， 这样， 可提高图像去噪的效果。 权利要求书4页 说明书13页 附图5页 CN 114399440 B 2022.12.13 CN 114399440 B 1.一种图像处 理方法， 其特 征在于， 包括： 获取待处理图像； 利用目标图像去噪网络对所述待处理图像进行去噪处理， 得到目标 去噪图像； 其中， 所述目标图像去噪网络包括依次连接的目标特征融合网络、 目标级联特征 提取网络以及第一卷积层； 所述目标特征融合网络， 用于对所述待处理图像进 行特征提取， 以及对提取得到的第一特征图和第二特征图进行特征融合， 得到目标融合特征图； 所述 目 标级联特征提取网络， 用于对所述目标融合特征图进 行特征提取， 得到目标特征图； 所述第 一卷积层， 用于对所述目标 特征图进行 卷积处理， 得到所述目标去噪图像； 其中， 所述目标级联特征提取网络包括依次连接的N个特征提取模块、 第 二卷积层以及 第一相加层， 所述目标级联特征提取网络包括依次连接的合并层以及第三卷积层， N为大于 1的整数； 所述N个特征提取模块中的第1个特征提取模块的输入包括所述目标特征融合网络的 输出， 所述N个特征提取模块中的第i个特征提取模块的输入包括所述N个特征提取模块中 的第i‑1个特征提取模块的最终输出， i为整数， 且2≤i≤N， 所述第二卷积层的输入包括所 述N个特征提取模块中的第N个特征提取模块的最终输出， 所述合并层的输入包括所述N个 特征提取模块中每个特征提取模块的中间输出， 所述第一相加层的输入包括所述第三卷积 层的输出， 所述第一相加层 对所述第二卷积层的输出与所述第三卷积层的输出进 行相加得 到所述目标 特征图； 所述N个特征提取模块中的任一特征提取模块均包括依次连接的下采样层、 上采样层、 减残差层、 目标卷积层以及加残差层， 所述上采样层为亚像素卷积层， 所述下采样层为卷积 层， 所述减残差层为相减层， 所述加残差层为相加层。 2.根据权利要求1所述的方法， 其特征在于， 所述N个特征提取模块中第1个特征提取模 块的下采样层的输入包括所述 目标特征融合网络的输出， 所述第 1个特征提取模块的减残 差层的输入包括所述 目标特征融合网络的输出， 所述第 1个特征提取模块的加残差层的输 入包括所述目标特征融合网络的输出， 所述第1个特征提取模块的中间输出为所述第1个特 征提取模块的减残差层的输出， 所述第1个特征提取模块的最终输出为所述第1个特征提取 模块的加残差层的输出； 所述N个特征提取模块中第 i个特征提取模块的下采样层的输入包括所述N个特征提取 模块中的第i ‑1个特征提取模块的最 终输出， 所述第i个特征提取模块的减残差层的输入包 括所述N个特征提取模块中的第i ‑1个特征提取模块的最终输出， 所述第i个特征提取模块 的加残差层的输入包括所述N个特征提取模块中的第i ‑1个特征提取模块的最 终输出， 所述 第i个特征提取模块的中间输出为所述第i个特征提取模块的减残差层的输出， 所述第i个 特征提取模块的最终输出为所述第i个特 征提取模块的加残差层的输出。 3.根据权利要求2所述的方法， 其特征在于， 所述目标级联特征提取网络还包括第四卷 积层， 所述 目标特征融合网络通过所述第四卷积层分别与所述第 1个特征提取模块的下采 样层以及所述第1个特 征提取模块的减残差层连接； 所述第1个特征提取模块的下采样层的输入包括所述第四卷积层的输出， 所述第1个特 征提取模块的减残差层的输入包括第1个特征提取模块的上采样层的输出以及所述第四卷 积层的输出。 4.根据权利要求1所述的方法， 其特征在于， 所述第 二卷积层包括依次连接的第 一子卷权　利　要　求　书 1/4 页 2 CN 114399440 B 2积层和第二子卷积层， 所述第一子卷积层的输入包括所述第N个特征提取模块的输出， 所述 第二卷积层的输出为所述第二子卷积层的输出。 5.根据权利要求1所述的方法， 其特征在于， 所述目标特征融合网络包括第 一支路特征 提取网络、 第二支路特征提取网络以及第二相加层， 所述第二相加层的输入包括所述第一 支路特征提取网络的输出以及所述第二支路特 征提取网络的输出； 所述第一支路特征提取网络的输入以及所述第二支路特征提取网络的输入均包括所 述待处理图像， 所述第一支路特征提取网络对所述待处理图像进行特征提取， 得到所述第 一特征图， 所述第二支路特征提取网络对所述待处理图像进行特征提取， 得到所述第二特 征图， 所述目标融合特 征图为所述第二相加层的输出。 6.根据权利要求5所述的方法， 其特征在于， 所述第 一支路特征提取网络包括依次连接 的第五卷积层、 第一变换层、 字典层、 全连接层以及第二变换层， 所述第 五卷积层的输入包 括所述待处 理图像， 所述第一特 征图为所述第二变换层的输出。 7.根据权利要求5所述的方法， 其特征在于， 所述第 二支路特征提取网络包括依次连接 的第六卷积层和第七卷积层， 所述第六卷积层的输入包括所述待处理图像， 所述第二特征 图为所述第七卷积层的输出。 8.一种图像处 理网络训练方法， 其特 征在于， 包括： 获取训练样本图像集； 基于所述训练样本 图像集对初始生成对抗网络进行训练， 得到目标生成对抗网络， 其 中， 所述目标生成对抗网络包括如权利要求 1‑7的任一项中的所述目标图像去噪网络， 所述 目标图像去噪网络， 用于对待处 理图像进行去噪处 理； 其中， 所述初始生成对抗网络包括相连的初始图像去噪网络以及初始鉴别网络， 所述 初始图像去噪网络包括依次连接的初始特征融合网络、 初始级联特征提取网络以及第一初 始卷积层， 所述初始特征融合网络的输入包括所述训练样本图像集， 所述初始鉴别网络的 输入包括所述第一初始卷积层的输出。 9.根据权利要求8所述的方法， 其特征在于， 所述初始鉴别网络包括依次连接的图像混 合层和鉴别 层， 所述图像混合层的输入包括所述第一初始卷积层的输出以及所述训练样本 图像集的标签去噪图像集， 所述图像混合层用于分别对所述标签去噪图像集的每一张图像 与所述第一初始卷积层输出的对应的初始去噪图像进 行混合处理， 所述鉴别 层用于对所述 图像混合层的输出进行鉴别处 理得到所述图像混合层的输出的鉴别分值； 其中， 所述图像混合层对第 一标签去噪图像以及与所述第 一标签去噪图像对应的第 一 初始去噪图像进 行混合过程中， 将所述第一标签去噪图像中第一像素点的像素值调整为所 述第一初始去噪图像中第二像素点的像素值； 其中， 所述第一标签去噪图像为所述标签去噪图像集中的任一图像， 所述第一像素点 在所述第一标签去噪图像中的位置与所述第二像素点在所述第一初始去噪图像中的位置 相同， 所述第一像素点为根据预设 间隔数量对所述第一标签去噪图像的像素点进 行采样得 到的像素点， 所述第一像素点中位于同行或同列的相 邻两个像素点之 间间隔预设间隔数量 个像素点。 10.根据权利要求9所述的方法， 其特征在于， 所述目标生成对抗网络还包括与所述目 标图像去 噪网络连接的目标鉴别网络； 所述鉴别层包括第一鉴别器和第二鉴别器， 所述第权　利　要　求　书 2/4 页 3 CN 114399440 B 3