(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210462697.9 (22)申请日 2022.04.28 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 侯兴松　李子昂　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 陈翠兰 (51)Int.Cl. G06T 9/00(2006.01) G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) (54)发明名称 图像压缩感知重建方法、 系统、 设备及 介质 (57)摘要 本发明公开了一种图像压缩感知重建方法、 系统、 设备及介质， 方法包括： 利用预设的第一去 噪器模型， 对待处理的原始图像进行退化处理， 得到退化后的图像； 利用改进的基于深度学习的 近似消息传递算法， 对所述退化后的图像进行压 缩重建处理， 得到所述的图像压缩感知重建结 果； 其中， 所述改进的基于深度学习的近似消息 传递算法， 为将基于深度学习的近似消息传递算 法中的去噪器替换为预设的第二去噪器模型的 算法； 所述预设的第一去噪器模 型和预设的第二 去噪器模型均为基于图像先验建模的灰度图像 高斯噪声去噪器网络模型； 本发 明利用去噪器的 噪声统计分布以及去噪能力曲线对算法所用到 的噪声区间进行了进一步的精细化划分， 有效提 升了的图像 重建能力。 权利要求书4页 说明书14页 附图4页 CN 114742911 A 2022.07.12 CN 114742911 A 1.一种图像压缩感知重建方法， 其特 征在于， 包括： 利用预设的第一去噪器模型， 对待处 理的原始图像进行 退化处理， 得到退化后的图像； 利用改进的基于深度 学习的近似消息传递算法， 对所述退化后的图像进行压缩重建处 理， 得到所述的图像压缩感知重建结果； 其中， 所述改进的基于深度学习的近似消息传递算法， 为将基于深度学习的近似消息 传递算法中的去噪器替换为预设的第二去噪器模型的算法； 所述预设的第一去噪器模型和 预设的第二去噪器模型均为基于图像先验建模的灰度图像高斯噪声 去噪器网络模型。 2.根据权利要求1所述的一种图像压缩感知重建方法， 其特征在于， 所述基于图像先验 建模的灰度图像高斯噪声去 噪网络模型包括若干级 噪声模型； 其中， 每一级 噪声模型包括 第一卷积层、 第一多尺度融合模块、 第一监督注意力模块、 第二多尺度融合模块、 通道合并 模块、 第二监督注意力模块、 第二卷积层、 注 意力模块、 第一残差连接模块、 第三卷积层及第 二残差连接模块； 其中， 上一级噪声模 型为下一级噪声模型的预处理模型， 用于对下一级噪 声模型进行微调训练； 第一卷积层， 用于对 含噪灰度图像进行 卷积操作， 得到初始特 征图Fhea； 第一多尺度融合模块， 用于对所述初始特 征图Fhea进行特征提取， 得到特 征图Fm1； 第一监督注意力模块， 用于对所述特征图Fm1进行特征校准， 并改变通道数目， 得到第一 阶段去噪图像 第二多尺度融合模块， 用于对所述特 征图Fm1进行特征提取， 得到特 征图Fm2； 通道合并模块， 用于对所述特征图Fm1及所述特征图Fm2进行通道合并处理， 得到通道合 并后的特 征图Fm12； 第一监督注意力模块， 用于对所述通道合并后的特征图Fm12进行特征校准， 并改变通道 数目， 得到第二阶段去噪图像 第二卷积层， 用于对所述 通道合并后的特 征图Fm12进行特征提取， 得到特 征图Fc2； 注意力模块， 用于对所述特征图特征图Fc2， 进行通道及空间注意力特征提取， 得到特征 图Fcsa； 第一残差连接模块， 用于对所述初始特征图Fhead和所述特征图Fcsa进行求和处理， 得到 特征图Fres； 第三卷积层， 用于对所述特 征图Fews1进行特征提取， 得到特 征图Fc3； 第二残差连接模块， 用于对所述含噪灰度图像与所述特征图Fc3进行求和处理， 得到第 三阶段去噪图像 3.根据权利要求2所述的一种图像压缩感知重建方法， 其特征在于， 对每一级噪声模型 进行训练的过程， 具体如下： 构建训练数据集； 其中， 所述训练数据集包括若干对训练数据； 所述每一对训练数据包 括真实数据和噪声数据， 所述真实数据为从DIV2K数据集和SIDD数据集中选取的干净的灰 度图像， 所述噪声数据为用于在所述干净的灰度图像上 添加的预设噪声等级的高斯噪声； 对每个训练数据进行归一 化处理， 得到归一 化处理后的训练数据； 将所述归一化后的训练数据作为当前噪声模型的输入， 基于目标损 失函数， 对当前噪 声模型进 行训练； 其中， 所述目标损失函数根据所述干净的灰度图像、 所述第一阶段去噪图权　利　要　求　书 1/4 页 2 CN 114742911 A 2像 所述第二阶段去噪图像 及所述第三阶段去噪图像 计算得到； 当前噪声模型训练完成后， 将训练好的当前 噪声模型作为下一级噪声模型的预处理模 型， 对下一级噪声模型进行微调训练； 依此操作， 完成所有噪声模型的训练。 4.根据权利要求3所述的一种图像压缩感知重建方法， 其特征在于， 所述目标损失函数 为： 其中， MSE(*)为均方误差； x为干净的灰度图像； 为第一阶段去噪图像； 为第二阶段 去噪图像； 为第三阶段去噪图像。 5.根据权利要求2所述的一种图像压缩感知重建方法， 其特征在于， 所述每一级噪声模 型的级别与待处理的原始图像的噪声等级相适应； 其中， 所述待处理的原始图像的噪声等 级， 利用高斯噪声的标准差作为分级标准， 对所述待处理的原始图像的噪声区间进行划分 得到。 6.根据权利要求2所述的一种图像压缩感知重建方法， 其特征在于， 所述第 一多尺度融 合模块及所属 第二多尺度融合模块， 均为多尺度特征融合模块； 所述多尺度特征融合模块， 包括Transformer支路、 CNN支路、 第一通道合并 ‑卷积单元、 第二通道合并 ‑卷积单元、 第三 通道合并 ‑卷积单元、 第四通道合并 ‑卷积单元及第五通道合并 ‑卷积单元； 所述Transformer支路包括依次连接的第一卷积层 单元、 第一自注意力 模块、 第一离散 小波变换单元、 第二卷积层单元、 第二自注意力模块、 第二离散小波变换单元、 第三卷积层 单元、 第三自注意力模块、 第四卷积层单元、 第一离散小波变换的逆变换单元、 第四自注意 力模块、 第五卷积层单元、 第二离散小波变换的逆变换单元、 第 五自注意力模块、 第六卷积 层单元及第一输出 单元； 所述CNN支路， 包括依次连接的第七卷积层单元、 第一可变形注意力模块、 第三离散小 波变换单元、 第八卷积层单元、 第二可变形注意力模块、 第四离散小波变换单元、 第九卷积 层单元、 第三可变形注意力模块、 第十卷积层单元、 第三离散小波变换的逆变换单元、 第四 可变形注意力模块、 第十一卷积层单元、 第四离散小波变换的逆变换单元、 第五可变形注 意 力模块、 第十二卷积层单 元及第二输出 单元； 所述第一自注意力模块的输出和所述第一可变形注意力模块的输出还均与所述第一 通道合并 ‑卷积单元的输入相连， 所述第一通道 合并‑卷积单元的输出与所述第三离散小波 变换单元的输入相连； 所述第二自注意力模块的输出和所述第二可变形注意力模块的输出还均与所述第二 通道合并 ‑卷积单元的输入相连， 所述第二通道 合并‑卷积单元的输出与所述第四离散小波 变换单元的输入相连； 所述第三自注意力模块的输出和所述第三可变形注意力模块的输出还均与所述第三 通道合并 ‑卷积单元的输入相连， 所述第三通道 合并‑卷积单元的输出与所述第十卷积层单 元的输入相连； 所述第四自注意力模块的输出和所述第四可变形注意力模块的输出还均与所述第四 通道合并 ‑卷积单元的输入相连， 所述第四通道 合并‑卷积单元的输出与所述第十一卷积层 单元的输入相连；权　利　要　求　书 2/4 页 3 CN 114742911 A 3