(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210828621.3 (22)申请日 2022.07.13 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 牛玉贞　林晓锋　李悦洲　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 陈明鑫　蔡学俊 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Tran sformer的多尺度优化低照度 图像增强方法 (57)摘要 本发明涉及一种基于Transformer的多尺度 优化低照度图像增强方法。 包括： 将数据进行数 据预处理； 构建基于Transformer的多任务恢复 和增强子网络； 设计基于Transformer的多尺度 优化低照度图像增强网络， 该网络由多尺度浅层 特征提取子网络、 多尺度特征融合子网络、 基于 Transformer的低照度图像 特征增强子网络和多 尺度低照度图像增强子网络组成； 根据网络结构 设计损失函数， 指导网络模型的参数优化； 用图 像块数据训练网络， 优化网络模型参数， 收敛到 平衡状态； 将低照度图像进行切块处理， 然后将 图像块分别输入训练好的图像增强网络， 得到相 应增强后的图像块后， 将图像块拼接成增强后的 完整图像。 本发明能对低照度图像进行增强， 综 合解决低照度图像存在的退化问题。 权利要求书7页 说明书8页 附图3页 CN 115205147 A 2022.10.18 CN 115205147 A 1.一种基于Transformer的多尺度优化低照度图像增强方法， 其特征在于， 包括如 下步 骤： 步骤A、 将数据进行数据预处理， 首先将数据进行配对处理， 接着对其做数据切块、 数据 增强处理； 步骤B、 构建基于Transformer的多任务恢复和增强子网络， 该网络由头部、 身体部分和 尾部组成， 使用多任务数据集预训练并使用合成低照度图像数据集 微调； 步骤C、 设计基于Transformer的多尺度优化低照度图像增强网络， 该网络 由多尺度浅 层特征提取子网络、 多尺度特征融合子网络、 基于Transformer的低照度图像特征增强子网 络和多尺度低照度图像增强子网络组成； 步骤D、 根据网络结构设计损失函数， 指导网络模型的参数优化； 步骤E、 用图像块数据训练网络， 优化网络模型参数， 收敛到平衡 状态； 步骤F、 将低照度图像进行切块处理， 然后将图像块分别输入训练好的图像增强网络， 得到相应增强后的图像块后， 将图像块 拼接成增强后的完整图像。 2.根据权利要求1所述的一种基于Transformer的多尺度优化低照度图像增强方法， 其 特征在于， 所述 步骤A具体实现步骤如下： 步骤A1、 将真实低照度图像与对应的标签图像进行配对处 理； 步骤A2、 将所有的真实低照度图像都进行不同的三次随机切块处理， 对真实低照度图 像I的配对标签图像也进 行与其相同的切块处理方式； 随机切块过程如下： 设给定 真实低照 度图像I， 图像尺寸为h ×w×3， 裁切出的图像块的尺寸均为q ×q×3， 其中， h、 w分别表示真 实低照度图像I的高度和宽度， q表示裁切出的图像块的高度和宽度； 步骤A3、 对配对图像块实施相同的随机水平翻转、 垂直翻转、 旋转操作进行数据增 强， 得到真实低照度图像数据集； 步骤A4、 分别对噪声图像和标签图像、 水下图像和标签图像、 低分辨率图像和标签图 像、 合成低照度图像和标签图像， 采用步骤A1至A3相同的方式进 行预处理， 得到噪声图像数 据集、 水下图像数据集、 低分辨 率图像数据集、 合成低照度图像数据集。 3.根据权利要求2所述的一种基于Transformer的多尺度优化低照度图像增强方法， 其 特征在于， 所述 步骤B具体实现步骤如下： 步骤B1、 构建基于Transformer的多任务恢复和增强子网络， 该网络由头部、 身体部分 和尾部组成， 网络输入依次通过头部、 身体部 分和尾部得到输出结果， 任务之间共享身体部 分的参数， 不共享头 部和尾部的参数； 步骤B2、 使用多任务数据集预训练步骤B1中构建的基于Transformer的多任务恢复和 增强子网络， 使用网络目标损失函数来优化模型参数， 这里使用L1损失， 计算方式如下： 其中， 表示第i个任务的损坏图像， 表示输入为 时基 于Transformer的多任务恢复和增强子网络得到的结果， Igt表示损坏图像 对应的 标签图像， || ·||1表示L1损失， n表示n个任务， 包括图像去噪、 水下图像增强、 图像超分辨权　利　要　求　书 1/7 页 2 CN 115205147 A 2率、 合成低照度图像增强； 在训练过程中， 每个批次随机从除合成低照度图像增强任务之外的n ‑1个任务中选择 一个训练， 每个批次包含相同数量的从步骤A 4构建的相应数据集中随机抽取的损坏图像和 标签图像对， 将损坏图像输入步骤B1构建的基于Tr ansformer的多任务恢复和增强子网络 中， 得到结果图像； 根据网络的目标损失函数， 使用反向传播方法计算网络中各参数的梯 度， 并利用随机梯度下降方法更新网络的参数， 直至迭代次数达到阈值， 保存训练好的模 型， 完成网络训练过程； 步骤B3、 使用合成低照度图像数据集微调步骤B2中得到的网络模型参数； 加载B2中预 训练得到的网络模型作为预训练模型， 作为接下来微调网络参数过程的初始网络参数； 每 个批次中从合成低照度图像数据集中随机抽取相同数量的合成低照度图像， 输入B1构建的 基于Transformer的多任务恢复和增强子网络中， 得到增强图像； 根据网络的目标损失函 数， 使用反向传播方法计算网络中各参数 的梯度， 并利用随机梯度下降方法更新网络的参 数， 直至迭代次数达到阈值， 保存训练好的模型， 完成网络训练过程； 最终得到基于 Transformer的多任务恢复和增强子网络的模型参数， 该模型将在后续步骤中作为预训练 模型。 4.根据权利要求3所述的一种基于Transformer的多尺度优化低照度图像增强方法， 其 特征在于， 所述 步骤B1具体实现步骤如下： 步骤B11、 构建头部结构， 每个任务的头部结构由一个卷积层和两个残差结构组成， 第i 个任务的损坏图像 经过头部结构后， 得到 输出特征图 计算过程如下： Resi(x)＝Convi(ReLU(Co nvi(x)))+x， i＝1， 2，…n 其中， i表示第i个任 务， n表示共有 n个任务， Resi(·)表示第i个任 务对应的残 差结构， x 为残差结构的输入， Co nvi表示第i个任务对应的卷积层， ReLU为激活函数； 步骤B12、 构建身体部分结构， 身体部分采用Vision  Transformer的编码解码器结构； 所有任务对应的身体部分参数共享、 结构相同， 因此对不同任务图像经过头部得到的特征 图做同样的处理， 这里把 统一记作Fcorrupted； 首先把头部得到的特征图 分解成一系列的块 P是块的大 小， 为每一个块加入可学习的位置编码 后， 送入Transformer编码器； 同样地， 经 过Transformer解码器后得到一系列的块输出 再将N个块输出 重组成特征 图 步骤B13、 构建尾部结构， 与头部结构相同， 尾部采用多尾结构适应不同的任务， 超分辨 率任务的尾部由一个卷积层和一个上采样层组成， 其他任务的尾部均由一个卷积层组成， 输入为身体部分得到的特 征图Fo， 输出为结果图像 计算方式如下： 权　利　要　求　书 2/7 页 3 CN 115205147 A 3