(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210656357.X (22)申请日 2022.06.10 (71)申请人 江苏海洋大学 地址 222005 江苏省连云港市高新区苍梧 路59号 (72)发明人 张登辉　胡文彬　陈龙　邢雅婧　 顾勇　 (74)专利代理 机构 北京和联顺知识产权代理有 限公司 1 1621 专利代理师 胡杨 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多尺度融合残差网络的单幅图像 去雨方法 (57)摘要 本发明公开了一种基于多尺度融合残差网 络的单幅图像去雨方法， 本方法以卷积神经网络 为基础， 巧妙结合多尺度、 残差、 多分支思想、 层 级连接思想， 设计出层级相连多尺度多分支残差 去雨网络； 该网络使用不同尺度的卷积核实现多 维度特征提取， 通过层级相连的方式实现递进多 层次学习， 可学习更加 复杂的特征， 从而可以解 决背景和雨水相似的情况， 在去雨效果上， 从定 性和定量上都远远超过GMM算法， 这大大的提高 了图像的质量， 同时网络不是过深， 训练成本不 是太高， 本方法具有一定的优越性。 采用了融合 残差、 多尺度、 多分支思想， 实现了一个新的基于 深度学习的去雨网络框架， 通过端到端无监督的 技术， 节省了数据处 理的时间， 提高了实验效率。 权利要求书1页 说明书4页 附图2页 CN 114972105 A 2022.08.30 CN 114972105 A 1.一种基于多尺度融合残差网络的单幅图像去雨方法， 其特 征在于： 具体步骤如下： S1、 确立训练网络的数据集； S2、 对于图像的特 征提取进行 大量提取块的组合实验； S3、 确立初步的网络结构； S4、 初始化权 重， 准备训练； S5、 对于损失函数的选择， 根据经验并结合试验确定损失函数的组合MSE和S SIM； S6、 使用国际化的优化器， SGD随机梯度下降算法； S7、 利用数据集进行网络训练， 反复迭代， 确定网络的整体结构， 寻找最优的准确率； S8、 使用公认的权威数据集Rai n100H,Rain100L,Rain12进行效果测试； S9、 将合成后的雨图送进卷积神经网络进行前向传播， 前向传播过程中会经过卷积层 进行特征提取， 之后经过归化层 进行数据映射， 最后通过激活函数来进 行非线性映射， 提高 网络的拟合能力； S10、 获取去雨图像后与无雨图像(标签Label)计算损失； S11、 得到损失函数后进行反向梯度计算； S12、 结合学习率进行反向权重更新， 学习率一开始按照国际化区域标准设置， 随着训 次数的迭代， 学习率 不断下降， 每当权 重更新后， 代 表一次训练结束； S13、 重复S9 ‑S12步操作， 继续输入合成数据训练网络， 直到loss值趋于平稳， 网络收 敛； S14、 训练好的参数被保存下来， 测试阶段直接加载保存的模型， 然后对输入真实雨图 进行前向传播， 此时不再进行反向传播， 因为无需去更新、 保存权重， 直接经过计算得到最 终的去雨图像。 2.根据权利要求1所述的一种基于多尺度融合残差网络的单幅图像去雨方法， 其特征 在于： 所述S7中的网络训练则采用了Xavier权重初始化方式， 即网络中每一层输出的方差 应该和其 他输出的方差尽量相等， 总的网络训练时间为8个小时。 3.根据权利要求1所述的一种基于多尺度融合残差网络的单幅图像去雨方法， 其特征 在于： 所述S7中的网络训练受限于算力条件的影 响， 网络训练过程中batchsize的取值为4， 经过了70轮的训练网络收敛， 并且训练 时初始学习率设置为0.01， 学习率随迭代轮数递减， 每20轮超参数lr衰减为原先的1/10 。 4.根据权利要求1所述的一种基于多尺度融合残差网络的单幅图像去雨方法， 其特征 在于： 所述S2中的组合实验在硬件设备为NVIDIA  GeForce GTX 1080Ti的计算机集群上进 行。权　利　要　求　书 1/1 页 2 CN 114972105 A 2一种基于多尺度融合 残差网络的单幅图像去雨方 法 技术领域 [0001]本发明涉及图像处理领域， 具体为一种基于多尺度融合残差网络的单幅 图像去雨 方法。 背景技术 [0002]在图像处 理中图像去雨十分重要， 常见的几种去雨方法如下： [0003]先验知识图像去雨方法： 先验知识实现图像的去雨是在像素块中分别对背景层和 雨层采用高斯混合模型先验， 高斯混合模型又称GMM模型， 其本质是利用组合多个高斯分布 来描述数据信息分布， 图像分解与先验信息的组合使用， 可以实现较高质量的图像去雨效 果。 [0004]基于稀疏编码字典学习和分类器的去雨方法： 我们用稀疏编码对原数据进行预处 理， 将处理后的数据放入一个卷积神经网络去进 行学习。 学习的过程中， 它假设雨水和背 景 的特征是可分的， 并且通过不断对字典和编码进行优化， 最终把一个图片分成了一个字典 的两个编 码之和， 这两个编 码分别代表雨水的编码和背 景的编码。 输入一幅雨图， 通过一个 平滑滤波器分离成 高频成分和 低频成分， 然后对高频成分也就是原始图像中的雨纹信息以 及背景纹理信息进行处理， 进行patch提取以及字典学习， 再进行字典的划分， 基于稀疏编 码图像分解得到雨成分和无雨成分， 将处理得到的无雨成分与之前 的低频成分进行加和， 得到去雨之后的结果图像。 [0005]先验知识图像去雨不足的地方： 去雨效果显著， 但是在去雨过后图像 的背景信息 被过度磨平， 遗漏了部 分图像细节， 图像变的模糊不清， 因此基于先验的图像去雨质量有待 提升， 且计算过程复杂， 执 行效率较低， 并且 对于饱和降雨像素的处 理还未解决。 [0006]基于稀疏编码字典学习和分类器的不足： 当背景与雨水极其相似时， 它仍是没办 法区分两者， 去雨效果在某些特定场景下会失效， 为此提供了一种基于多尺度融合残差网 络的单幅图像去雨方法。 发明内容 [0007]本发明的目的是针对现有技术的缺陷， 提供一种基于多尺度融合残差网络的单幅 图像去雨方法， 以解决上述背景技 术提出的问题。 [0008]为实现上述目的， 本发明提供如下技术方案： 一种基于多尺度 融合残差网络 的单 幅图像去雨方法， 具体步骤如下： [0009]S1、 确立训练网络的数据集； [0010]S2、 对于图像的特 征提取进行 大量提取块的组合实验； [0011]S3、 确立初步的网络结构； [0012]S4、 初始化权 重， 准备训练； [0013]S5、 对于损失函数的选择， 根据经验并结合试验确定损失函数的组合MSE和S SIM； [0014]S6、 使用国际化的优化器， SGD随机梯度下降算法；说　明　书 1/4 页 3 CN 114972105 A 3