(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211394901.4 (22)申请日 2022.11.08 (71)申请人 长春理工大 学 地址 130022 吉林省长 春市朝阳区卫星路 7186号 (72)发明人 詹伟达　杜佳齐　李锐　郭人仲　 姜靖恒　 (74)专利代理 机构 北京中理通专利代理事务所 (普通合伙) 11633 专利代理师 刘慧宇 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/90(2017.01)G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于循环生成对抗网络的近红外图像 彩色化方法 (57)摘要 一种基于循环生成对抗网络的近红外图像 彩色化方法， 属于图像彩色化技术领域， 为解决 现有的彩色化方法得到的图像缺乏精细细节， 不 符合人眼视觉效果， 同时对数据集要求高且颜色 不匹配的问题， 该方法： 准备数据集： 对整个生成 对抗网络采用公开的近红外数据集进行训练； 构 建网络模型； 训练网络模型： 将准备好的数据集 输入到构建好的网络模型中训练； 获得最小化损 失函数值； 微调模型； 保存模型。 在下采样 模块中 采用卷积块和密集残差块的组合取代池化操作， 使彩色化得到的图像细 节更精细。 使用复合损失 函数有助于学习图像更精细的颜色与纹理信息， 更符合人眼视觉观察。 使用循环 生成对抗网络的 网络架构， 有效避免了 彩色化网络模 型对于配对 图像的依赖 。 权利要求书1页 说明书5页 附图4页 CN 115546198 A 2022.12.30 CN 115546198 A 1.一种基于循环生成对抗网络的近红外图像彩色化方法， 其特征是， 该方法包含如下 步骤： 步骤1， 准备数据集： 对整个生成对抗网络采用公开的近红外数据集进行训练， 即RGB ‑ NIR场景数据集； 步骤2， 构建网络模型： 整个网络由两个生成对抗网络组成， 包括生成器一、 生成器二、 鉴别器一和鉴别器二； 生成器一由下采样模块、 残差模块、 上采样模块和跳跃连接组成， 实 现红外图像到彩色图像的转换， 生成器二在生成器一的基础上去掉残差模块， 实现彩色图 像到红外图像的转换， 鉴别器一和 鉴别器二均采用马尔可夫鉴别器， 判断生成的假图像是 否足够真实； 步骤3， 训练网络模型： 将步骤1中准备好的数据集输入到步骤2构建好的网络模型中进 行训练； 步骤4， 获得最小化损失函数值： 通过最小化生成器和鉴别器的损失函数交替优化生成 器和鉴别器， 直到生成器和 鉴别器的对抗达到平衡状态即可认为模型参数已训练完成， 保 存模型参数； 步骤5， 微调模型： 用近红外与可见光图像对模型进行训练和微调， 得到稳定可靠的模 型参数， 进一 步提高模型彩色化的能力； 步骤6， 保存模型： 将最终确定的模型参数进行固化， 当需要对近红外图像进行彩色化 时， 直接将图像输入到网络中即可 得到最终的彩色红外图像。 2.一种基于循环生成对抗网络的近红外图像彩色化方法， 其特征在于， 所述步骤2中下 采样模块由卷积块一至卷积块五和密集残差块一至密集残差块五组成， 用于从输入的近红 外图像中提取特征， 其中， 每个卷积块将特征图减小到一半， 密集残差块提取并保留每个卷 积块后的信息； 残差模块由残差块一至残差块九组成， 用于增加网络深度； 上采样模块由反 卷积块一至反卷积块六和输出块组成， 用于图像重 建， 其中， 反卷积块对编 码器的信息进 行 解码进而重构输出图像， 输出块输出重建的彩色图像； 跳跃连接用于将下采样模块的各尺 度特征细节直接映射到上采样模块； 鉴别器一和鉴别器二均由六个卷积块组成， 输出真假 概率信息判断输入图像是否真实。 3.一种基于循环生成对抗网络的近红外图像彩色化方法， 其特征在于， 所述步骤4中在 训练过程中损失函数选择使用对抗损失、 循环一致性损失、 内容损失和感知损失的复合损 失函数。 得到的彩色图像在色度和亮度方面都接近真实的可见光图像， 能够突出红外图像 中的纹理和细节部分， 提升人眼视 觉效果。权　利　要　求　书 1/1 页 2 CN 115546198 A 2一种基于循环生成 对抗网络的近红外图像彩色化方 法 技术领域 [0001]本发明涉及 一种基于循环生成对抗网络的近红外图像彩色化方法， 属于图像彩色 化技术领域。 背景技术 [0002]图像彩色化技术已被广泛应用于艺术美学、 遥感卫星、 医学及图像预处理等领域。 图像彩色化是一个高度不确定的问题， 需要将实值灰度图像映射到 没有唯一解的三 维彩色 图像。 近红外图像的成像效果不受强光云雾等 天气因素影响， 且对场景的亮度改变不敏感。 但缺乏颜色信息， 增加了使用者对信息的判断难度， 因此需要对近红外图像进行着色。 然 而， 现有的近红外图像彩色化方法存在两个关键问题， 即缺乏精细 细节和映射 不正确。 [0003]中国专利公开号为 “CN114581560A ”， 名称为“基于注意力机制的多尺度神经网络 红外图像彩色化方法 ”， 该方法首先利用由像素损失、 边缘损失和感知损失组成的复合损失 函数训练红外图像彩色化模型； 接着， 通过二维卷积神经网络在不同分辨率尺度下对输入 的红外图像对进行特征提取； 然后， 通过注意力机制对提取出的高维特征信息进行提炼处 理； 最后， 将多尺度信息进行融合处理得到预测的彩色化红外图像。 该方法得到的彩色化结 果细节模糊， 不符合人眼视 觉效果， 同时对数据集要求高且 颜色不匹配。 发明内容 [0004]本发明为了解决现有的彩色化方法得到的图像缺乏精细细节， 不符合人眼视觉效 果， 同时对数据集要求高且颜色不匹配的问题， 提供了一种基于循环生成对抗网络的近红 外图像彩色化方法。 使彩色化得到的图像具有精细的细节， 更符合人眼视觉观 察， 同时本发 明提出的方法对数据集要求低， 不需要依赖大量的配对图像， 图像颜色匹配度更高。 [0005]本发明解决技 术问题的方案是： [0006]一种基于循环生成对抗网络的近红外图像彩色化方法， 其包 含如下步骤： [0007]步骤1， 准备数据集： 对整个生成对抗网络采用公开的近红外数据集进行训练， 即 RGB‑NIR场景数据集； [0008]步骤2， 构建网络模型： 整个网络由两个生成对抗网络组成， 包括生成器一、 生成器 二、 鉴别器一和鉴别器二； 生 成器一由下采样模块、 残差模块、 上采样模块和跳跃连接组成， 实现红外图像到彩色图像的转换， 生成器二在生成器一的基础上去掉残差模块， 实现彩色 图像到红外图像的转换， 鉴别器一和鉴别器二均采用马尔可夫鉴别器， 判断生成的假图像 是否足够真实； [0009]步骤3， 训练网络模型： 将步骤1中准备好的数据集输入到步骤2构建好的网络模型 中进行训练； [0010]步骤4， 获得最小化损失函数值： 通过最小化生成器和鉴别器的损失函数交替优化 生成器和鉴别器， 直到生成器和鉴别器的对抗达到平衡状态即可认为模型参数已训练完 成， 保存模型参数；说　明　书 1/5 页 3 CN 115546198 A 3