(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211049334.9 (22)申请日 2022.08.30 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 杨爱萍　刘羽朦　李晓晓　邵明福　 张腾飞　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李素兰 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视觉质 量驱动的无监督去雾系统及方 法 (57)摘要 本发明公开了一种基于视觉质 量驱动的无 监督去雾系统及方法， 通过构建端到端网络学习 有雾图像与无雾图像之间的映射 关系， 直接生成 无雾图像； 该系统由信息交互模块和迭代模块组 成， 其中， 信息交互模块， 用于实现对输入浅层特 征的高效融合， 完成细节信息和结构信息的交 互， 学习挖掘深层语义信息； 迭代模块200， 用于 首先估计K(x)， 将K(x)值代入重组后大气散射模 型中计算无雾图像， 对去雾结果多次迭代细化， 保留图像细节。 与现有技术相比， 本发明的去雾 图像颜色更自然， 去雾效果更好， 且网络训练过 程只需有雾图像， 可从根本上避免域偏移现象发 生。 权利要求书2页 说明书6页 附图3页 CN 115393222 A 2022.11.25 CN 115393222 A 1.一种基于视觉质量驱动的无监督去雾系统， 通过构建端到端 网络学习 有雾图像与 无 雾图像之 间的映射关系， 直接生成无雾图像； 其特征在于， 该系统由信息交互模块和迭代模 块组成， 其中： 所述信息交互模块， 用于实现对输入浅层特征的高效融合， 完成细节信息和结构信息 的交互， 学习挖掘深层语义信息； 所述迭代模块， 用于进行大气散射模型的中间变量K(xi)估计， 将K(xi)值代入重组后大 气散射模型中计算无雾图像， 对去雾结果多次迭代细化， 保留图像细节。 2.基于如权利要求1所述的基于视觉质量驱动的无监督去雾系统 的基于视觉质量驱动 的无监督去雾方法， 其特 征在于， 该 方法包括以下 具体步骤： 步骤1、 获取总训练集、 测试集， 其中训练数据集为室内训练集ITS和户外训练集OTS， 测 试集为综合目标测试集SOTS和混合主观测试集HSTS； 步骤2、 构建无监 督去雾网络， 该网络包括信息交 互模块和迭代模块； 在所述信息交互模块中， 输入特征xm和xn进行卷积运算， 生成包含不同类别信息的特征 xmn； 随后， 分别对 两两信息特征进行特征融合， 每个卷积层后面均采用ReLU激活函 数进行非 线性变换， 经 过多次信息交 互过程和特 征重提取， 学习图像中的高层语义信息； 在所述迭代模块中， 将所述信息交互模块的输出作为所述迭代模块的输入， 首先采用 一个3×3卷积层对输入特 征进行特征提取， 进行 K(xi)估计； 设定网络训练中的总的损失函数L包括内容保持损失函数、 暗通道损失函数、 对比度损 失函数、 饱和度损失函数以及锐化损失函数， 以实现网络的无 标签训练； 总的损失函数L表达式如下： L＝Lmse+Ldcp+Lcon+Lsat+Lsharp 其中， Lmse为内容保持损失函数， Ldcp为暗通道损失函数， Lcon为对比度损失函数， Lsat为 饱和度损失函数， Lsharp为锐化损失函数； 步骤3、 利用构建的无监督去雾网络， 实现单幅图像去雾， 进行大气散射模型的中间变 量K(xi)估计， 将大气散射模型的中间变量K(xi)值代入重组后大气散射模型中计算无雾图 像， 对去雾结果多次迭代细化， 保留图像细节。 3.如权利要求2所述的一种基于视觉质量驱动的无监督去雾方法， 其特征在于， 所述迭 代模块在估计K(xi)值时采用了增强策略， 对图像使用增强策略的过程如下： J1(x)＝K1(x)I(x)‑K1(x)+1 Jn(x)＝Kn(x)(I(x)+Jn‑1(x))‑Kn(x)+1‑Jn‑1(x),n＝2,3,...,8 其中， xi为输入图像的第i像素， J1(xi)为第一次去雾结果， Jn(xi)为第n次迭代去雾结 果。 4.如权利要求2 所述的一种基于视觉质量驱动的无监督去雾方法， 其特征在于， xmn通过 对输入特征xm和xn进行堆叠处理而获得， 随后通过卷积操作从堆叠后特征图中提取更具去 雾相关性的抽象特 征xmn。 5.如权利要求2所述的一种基于视觉质量驱动的无监督去雾方法， 其特征在于， 在所述 信息交互模块中， 对输入有雾图像进 行特征预提取时， 采用了不同大小感受野的卷积层， 从 输入图像提取更具去雾相关性的浅层特征， 通过设置卷积核尺寸， 获取不同大小的感受野， 捕获不同尺度的特 征， 全面提取图像的细节信息和结构信息 。权　利　要　求　书 1/2 页 2 CN 115393222 A 26.如权利要求2所述的一种基于 视觉质量驱动的无监 督去雾方法， 其特 征在于， 其中： 内容保持损失函数Lmse表示为： 其中， Ji为复原后的第i个像素点的清晰图像， Ii为第i个像素点的有雾图像， M为图像像 素点总个数； 暗通道损失函数Ldcp表示为： Ldcp＝|MaxPo ol3d(Z‑I)‑I| 其中， MaxPool3d(.)为三维最大池化函数， I为输入的有雾图像， Z为一张尺寸与I相同 且像素值 为全0的图像； 对比度损失函数Lcon表示为： 其中， Ci为第i个像素点的有雾图像的对比度， Cj为复原图像的对比度， M代表图像包含 像素点总个数； 饱和度损失函数Lsat表示为： Lsat＝SJ‑SI 其中， SI和SJ分别为有雾图像和复原图像的饱和度， xi为第i个像 素点位置， I(xi)为有雾 图像， J(xi)为复原图像， q∈(R,G,B)为RGB三通道中的某一个 通道， Jq为复原后的通道q的清 晰图像， Iq为通道q的有雾图像； 锐化损失函数Lsharp表示为： 其中， Y(x)为复原图像， I(x)为有雾图像， G( ·)为对图像进行Sobel算子运算所得数 值， n为像素点的个数。 7.如权利要求2所述的一种基于视觉质量驱动的无监督去雾方法， 其特征在于， 所述大 气散射模型的中间变量K(x)表达式如下： 其中， I(x)为雾霾图像， A为大气光值， b为常量， t(x)为传输矩阵， K(x)为大气散射模型 的中间变量。权　利　要　求　书 2/2 页 3 CN 115393222 A 3