(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210120101.7 (22)申请日 2022.02.07 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 陈敏园　刘杰平　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06T 5/00(2006.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于自适应特 征融合的图像去雾方法 (57)摘要 本发明公开了一种基于自适应特征融合的 图像去雾方法， 包括以下步骤： S1、 对输入有雾图 像进行初始浅层特征提取； S2、 将初始浅层特征 依次通过第一、 第二轻量级编码单元得到深层特 征； S3、 使用残差增强瓶颈模块对深层特征进行 增强； S4、 利用第一、 第二高效解码单元对深层特 征和浅层特征进行有效地自适应融合， 同时恢复 图像分辨率； S5、 对第二高效解码单元的输出进 行降维和细化， 生成最终的去雾图像。 通过本发 明的方法， 可以在有效去除雾的同时产生较少的 颜色失真， 重建出质量更高的去雾图像 。 权利要求书2页 说明书8页 附图3页 CN 114627002 A 2022.06.14 CN 114627002 A 1.一种基于自适应特征融合的图像去雾方法， 其特征在于， 所述图像去雾方法包括以 下步骤： S1、 对输入有雾图像进行初始浅层特 征提取； S2、 将初始浅层特征依次通过第一、 第二轻量级编码单元得到深层特征， 第一、 第二轻 量级编码单元均包括一个下采样模块和K个轻量级 特征提取模块， 首先， 通过下采样模块得 到尺寸减半的浅层特征， 然后， 通过轻量级 特征提取模块对浅层特征进 行特征提取， 得到语 义信息更丰富的深层特 征； S3、 使用残差增强瓶颈模块对深层特征进行增强， 所述残差增强瓶颈模块由3个残差块 组成； S4、 利用第一、 第 二高效解码单元对深层特征和浅层特征进行自适应 融合， 同时恢复图 像分辨率， 第一、 第二高效解码单元均包括双重注意力细化模块、 自适应特征融合模块和上 采样模块， 首先， 采用双重注意力细化模块对浅层特征进行细化， 过滤掉浅层特征中的无效 多余信息， 然后， 通过自适应特征融合模块对细化后的浅层特征和深层特征进 行有效融合， 弥补下采样过程中的信息 丢失， 最后， 使用上采样模块进一 步扩展融合后特 征的尺寸； S5、 对第二高效解码单 元的输出进行降维和细化， 生成最终的去雾图像。 2.根据权利要求1所述的一种基于自适应特征融合的图像去雾方法， 其特征在于， 所述 步骤S1中， 通过3 ×3卷积层和非线性激活单元ReLU从输入有雾图像中提取出初始浅层特 征， 表达式如下： f0＝σ(conv3×3(I))                                     (1) 其中， I表示输入有雾图像， σ 表示非线性激活函数ReLU， conv3×3表示卷积核为3 ×3的卷 积， f0表示提取得到的浅层特 征。 3.根据权利要求1所述的一种基于自适应特征融合的图像去雾方法， 其特征在于， 所述 轻量级特征提取模块首先通过1 ×1卷积层和3 ×3卷积层对输入特征进行初步提取， 然后， 使用通道分离操作将初步提取结果划分为两个分支， 其中一个分支由1 ×3深度卷积层和3 ×1深度卷积层组成， 另一个分支由1 ×3深度扩张卷积层和3 ×1深度扩张卷积层组成， 之 后， 将两个分支输出 的结果进行通道维度拼接后再与输入特征相加， 最后采用通道混洗操 作进行重组， 以保证信息在不同分支之间流动， 表达式如下： f1,f2＝split(conv3×3(conv1×1(finput)))                           (2) fconcat＝concat(DWCo nv1×3(DWConv3×1(f1)),DDWConv1×3,r(DDWConv3×1,r(f2)))    (3) 其中， finput表示轻量级特征提取模块的输入， conv1×1表示卷积核为1 ×1的卷积， conv3×3表示卷积核为3 ×3的卷积， split表示通道分离操作， f1和f2表示通道分离得到的两 个分支特征， DWConv1×3表示卷积核为1 ×3的深度卷积， D WConv3×1表示卷积核为3 ×1的深度 卷积， DDWConv1×3,r表示卷积核为1 ×3且扩张率为r的深度扩张卷积， DDWConv3×1,r表示卷积 核为3×1且扩张率为r的深度扩张卷积， concat表 示将两个特征图在通道维度上进 行拼接， fconcat表示拼接后的特征， 为逐像素相加， shuffle表示通道混洗操作， foutput表示轻量级 特征提取模块的输出。 4.根据权利要求1所述的一种基于自适应特征融合的图像去雾方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 114627002 A 2双重注意力细化模块由通道注意力层和空间注意力层串联组成， 首先， 通过通道注意力层 自适应学习输入特征每个通道的权重， 并利用该权重对输入特征进 行逐通道校准， 然后， 采 用空间注意力层进行空间层面的权 重学习和校准。 5.根据权利要求1所述的一种基于自适应特征融合的图像去雾方法， 其特征在于， 所述 自适应特征融合模块首先将相同尺寸的浅层特征和深层特征进行逐像素相加， 然后使用尺 度不同的两个分支 提取通道注意力权重， 其中一个分支采用全局平均池化层和两个1 ×1卷 积层提取具有全局上下文的通道注意力权重， 另一个 分支直接使用两个1 ×1卷积层提取具 有局部上下文的通道注意力权重， 之后， 将两个分支的输出权重进行逐像素相加并使用 sigmoid函数进行归一化， 得到与输入浅层特征尺 寸相同的自适应融合权重， 最后使用自适 应融合权 重对浅层特 征和深层特 征进行加权平均， 得到融合特 征， 计算过程的表达式如下： 其中， GAP为全局平均池 化函数， H、 W 分别表示特征图f的长和宽， fC为特征图f的第C个通 道， flow‑level表示浅层特征， fhigh‑level表示深层特征， 为逐像素相加， fadd表示逐像素相加 后的特征， conv1×1表示卷积核为1 ×1的卷积， σ2为非线性激活函数Sigmoid， W表示自适应融 合权重， 为逐像素相乘， ffusion表示融合特 征。 6.根据权利要求1所述的一种基于自适应特征融合的图像去雾方法， 其特征在于， 所述 步骤S5中通过3 ×3卷积层和非线性激活单元Sigmoid对第二高效解码单元的输出结果进一 步降维和细化， 表达式如下： J＝σ3(conv3×3(fde))                                  (9) 其中， J表示最终生成的去雾图像， fde表示第二高效解码单元输出结果， σ3表示非线性 激活函数Sigmo id， conv3×3表示卷积核为3 ×3的卷积。 7.根据权利要求3所述的一种基于自适应特征融合的图像去雾方法， 其特征在于， 所述 通道分离操作spl it是将输入特 征图在通道维度方向上分成2组。 8.根据权利要求3所述的一种基于自适应特征融合的图像去雾方法， 其特征在于， 所述 通道混洗操作shuf fle的过程如下： 假设输入层特征初始通过通道分离操作分为g组， 每组特征的通道数为n， 通道总数为g ×n， 通道混洗首先将通道维度g ×n拆分为两个维度(g,n)， 然后转置为(n,g)， 最后调整形 状为维度g ×n， 从而实现特 征图的重组。权　利　要　求　书 2/2 页 3 CN 114627002 A 3