(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210924242.4 (22)申请日 2022.08.03 (65)同一申请的已公布的文献号 申请公布号 CN 114972043 A (43)申请公布日 2022.08.30 (73)专利权人 江西财经 大学 地址 330013 江西省南昌市经济技 术开发 区双港东大街169号 (72)发明人 左一帆　徐雅萍　谢家城　姜文晖　 方玉明　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 黄攀 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 112200720 A,2021.01.08 WO 2017075768 A1,2017.0 5.11 WO 202125852 9 A1,2021.12.3 0 US 2010086227 A1,2010.04.08 CN 113920014 A,202 2.01.11 EP 38169 28 A1,2021.0 5.05 占文枢等.基于像素及梯度域双 层深度卷积 神经网络的页岩图像超分辨 率重建. 《科 学技术 与工程》 .2018,(第0 3期), 徐冉等.利用双通道卷积神经网络的图像超 分辨率算法. 《中国图象图形 学报》 .2016,(第0 5 期), T Li 等.Ima ge Super-Reso lution reconstructi on based o n adaptive gradient field sharpen ing. 《Digital Signal Processing (DSP)》 .2013, 审查员 闪赛 (54)发明名称 基于联合三边特征滤波的图像超分辨率重 建方法与系统 (57)摘要 本发明提出一种基于联合三边特征滤波的 图像超分辨率重建方法与系统， 所述方法包括： 对高分辨率图像进行下采样以得到低分辨率图 像， 并构建单图像超分辨率重建模型； 通过图像 重建分支中的特征细化模块， 以提取得到多层级 图像特征； 通过梯度预测分支中的梯度细化模 块， 以提取得到多层级梯度特征； 基于图像重建 分支与梯度预测分支， 通过联合三边特征滤波模 块进行融合指导， 以实现自适应调整目标域的卷 积核， 并由粗到细进行高分辨率图像的重建； 当 单图像超分辨率重建模型迭代至收敛， 对单图像 超分辨率重建模型进行前向推断以最终得到超 分辨率重建的图像。 本发明深入挖掘梯度域与像 素域之间的互指导作用， 最终实现良好的重建效果。 权利要求书3页 说明书9页 附图2页 CN 114972043 B 2022.10.25 CN 114972043 B 1.一种基于联合三边特征滤波的图像超分辨率重建方法， 其特征在于， 所述方法包括 如下步骤： 步骤一、 对高分辨率图像进行下采样以得到低分辨率图像， 并构建单图像超分辨率重 建模型， 将所述低分辨率图像输入至单图像超分辨率重 建模型中， 其中， 所述单图像超分辨 率重建模型包括图像重 建分支与梯度预测分支， 所述图像重建分支中至少包括特征细化模 块， 所述梯度预测分支中至少包括梯度细化模块； 步骤二、 通过 所述图像重建 分支中的所述特 征细化模块， 以提取 得到多层级图像特 征； 步骤三、 通过 所述梯度预测分支中的所述梯度细化模块， 以提取 得到多层级梯度特 征； 步骤四、 基于所述图像重建分支与所述梯度预测分支， 通过联合三边特征滤波模块进 行融合指导， 以实现自适应调整目标域的卷积核， 并由粗到细进行高分辨 率图像的重建； 步骤五、 当所述单图像超分辨率重建模型迭代至收敛， 对所述单图像超分辨率重建模 型进行前向推断以最终得到超分辨 率重建的图像； 所述图像重建分支包括依次连接的第 一浅层特征提取模块、 特征细化模块以及图像上 采样模块； 所述第一浅层特征提取模块由两个卷积层组成， 用于提取得到第一浅层图像特征 ； 所述特征细化模块包括 个依次连接的残差稠密连接块， 多个所述残差稠密连接块 用于提取得到多层级图像特征 ， ， 其中， 表示残差稠密连接块的最大 数量， 每个残差稠 密连接块包括两个基本单元， 其中， 当前的残差稠密连接块用于在将提取 得到的多层级图像特征 输入至下一残差稠密连接块之前， 通过双向特征融合以进行 更新； 所述图像上采样模块用于将 个残差稠密连接块中 个基本单元的输出， 在通道 维度进行拼接以作为所述图像上采样模块的输入； 所述梯度预测分支包括第二浅层特 征提取模块、 梯度细化模块以及 梯度重建模块； 所述第二浅层特征提取模块由两个卷积层组成， 用于 提取得到第二浅层图像特征 ； 所述梯度细化模块包括 个依次连接的残差块， 多个所述残差块用于提取得到多层 级梯度特征 ， ， 其中， 表示残差块的最大数量， 每个残差块包括两 个基本单元， 其中， 当前的残差块用于在将提取得到的多层级梯度特征 输入至下一 残差块之前， 通过双向特 征融合以进行 更新； 所述梯度重建模块用于将经过细化后的多层级梯度特征 作为输入， 然后输出高 分辨率梯度图； 所述单图像超分辨 率重建模型对应的损失函数表示 为：权　利　要　求　书 1/3 页 2 CN 114972043 B 2其中， 表示损失函数对应的损失值， 表示对损失函数取最小值的操作， 表示训练图像的最大数量， 表示训练图像的序号， 表示第 张训练图像 中的高分辨 率原始图像， 表示第 张训练图像中的低分辨率原始图像， 表示第 张训练图像对 应的双三次插值 结果， 表示第 张训练图像中在低分辨率图像下参数 对应的生 成模型， 表示平衡权重值， 表示第 张训练图像中的高分辨率梯度图， 表示第 张 训练图像中的低分辨率梯度图， 表示第 张训练图像中在高分辨率梯度图下参数 对应的生成模型； 双向特征融合表示在多层级图像特征 与多层级梯度特征 之间进行特征 融 合， 通过所述联合三边特征滤波模块交替进 行以实现图像指导的梯度特征增强与梯度指导 的图像特 征增强； 在所述联合 三边特征滤波模块中， 输出 得到的目标 特征的融合特 征对应的表达式为： 其中， 表示融合前在通道 的空间位置 上的特征， 表示目标域特征对应的卷 积核权重， 表示指导域特征对应的卷积核权重， 表示局部窗口， 表示位于局部窗 口 中心的目标 特征的融合特 征。 2.根据权利要求1所述的基于联合三边特征滤波的图像超分辨率重建方法， 其特征在 于， 多个所述高分辨率图像组成高分辨率图像数据集， 对所述高分辨率图像数据集进行处 理的方法包括如下步骤： 将所述高分辨 率图像数据集划分成训练集、 验证集与测试集； 对所述高分辨率图像数据集中的高分辨率图像进行下采样以生成对应的低分辨率图 像； 根据预设图像尺寸， 将所述高分辨率图像与所述低分辨率图像对应裁剪为成对的子图 像块， 并选取特定的子图像块通过随机翻转与旋转以进行数据增强， 从而最终得到所述训 练集。 3.根据权利要求1所述的基于联合三边特征滤波的图像超分辨率重建方法， 其特征在 于， 在所述联合三边特征滤波模块中， 为进 行卷积操作， 目标域特征 在 维度上 以 为窗口大小进行遍历以得到多个三维图像块， ， 其中， 分别表示 通道数、 高度与宽度； 其中， 处理后的目标域特征大小为 ， 为批处理数， 表示实数权　利　要　求　书 2/3 页 3 CN 114972043 B 3