(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210147801.5 (22)申请日 2022.02.17 (71)申请人 烟台大学 地址 264005 山东省烟台市莱山区清泉路 32号 (72)发明人 倪梦莹　马咏莉　徐金东　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李林娟 (51)Int.Cl. G06T 5/00(2006.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 1/04(2006.01) (54)发明名称 一种扫描透射图像恢复方法、 装置及 存储介 质 (57)摘要 本发明公开了一种扫描透射图像恢复方法、 装置及存储介质， 涉及图像处理领域， 本发明主 要利用了深度学习领域的循环一致性生成对抗 网络进行了扫描图像恢复， 考虑实际扫描透射图 像中的文本分布的复杂性， 结合人类视觉特征， 在网络中融入通道注意力机制和区域注意力机 制， 非均匀地处理不同特征和不同区域， 利用循 环一致性生成对抗网络的约束转移学习和循环 结构， 最终完成非成对图像的无监督扫描透射图 像恢复任务。 本发明具有良好的图像恢复性能， 对多种情况的扫描透射图像数据具有良好的鲁 棒性和适应性。 权利要求书2页 说明书11页 附图4页 CN 114519678 A 2022.05.20 CN 114519678 A 1.一种扫描透射图像恢复方法， 其特 征在于， 所述方法包括： 采用合成透射图像训练集对由第一、 第二生成器、 第一、 第二判别器组成的A ‑CycleGAN 网络模型进行训练； 经第一生成器生成并输出第 一无透射图像， 若第 一判别器不能识别所有的第 一无透射 图像， 则通过对抗损失计算第一误差， 反向传播更新第一判别器的参数， 寻求第一最小化分 类误差； 固定第一判别器， 经第二生成器生成并输出第一有透射图像， 通过循环一致性损 失和 感知损失计算输入的合成透射图像、 第一有透射图像之 间的差值， 求取第一损失值， 反向传 播更新第一 生成器的网络参数， 寻 求第一全局最优值； 经第二生成器生成并输出第 二有透射图像， 若第 二判别器不能识别所有的第 二有透射 图像， 则通过对抗损失计算第二误差， 反向传播更新第二判别器的参数， 寻求第二最小化分 类误差； 固定第二判别器， 经第一生成器生成并输出第二无透射图像， 通过循环一致性损 失和 感知损失计算输入的无透射图像、 第二无透射图像之间的差值， 求取第二损失值， 反向传播 更新第二 生成器的网络参数， 寻 求第二全局最优值； 当全部训练完成后， 生成器网络 输出最终的无透射图像。 2.根据权利要求1所述的一种扫 描透射图像恢复方法， 其特征在于， 所述A ‑CycleGAN网 络模型包括： 透射‑透射分支： 用输入的合成透射图像h 经第一生成器生成第一无透射图像dh， 通过第 二生成器重构成第一有透射图像h ′； 无透射‑无透射分支： 用输入的无透射图像d经第二生成器生成第二有透射图像hd， 通过 第一生成器再重构成第二无透射图像d ′； 两个分支共享第 一、 第二生成器， 透射 ‑透射分支使用第一判别器， 无透射 ‑无透射分支 使用第二判别器。 3.根据权利要求1所述的一种扫描透射图像恢 复方法， 其特征在于， 所述第 一生成器包 括： 通道注意力机制块和区域注意力机制块， 同时使用跳跃连接结构使高层获得底层的图 像特征信息。 4.根据权利要求3所述的一种扫描透射图像恢复方法， 其特 征在于， 所述通道注意力机制块将特征图大小由C ×H×W转换为C ×1×1， 其中C表示通道数， H ×W表示每个通道特 征图的大小； 通道注意力机制块的处 理过程为： 其中， pool(·)表示池化层， Conv表示卷积层， σ 是Sigmoid函数， δ是ReLU函数， F是通道 注意力机制块的输入， 是元素相乘， Fc表示通道注意力机制的输出； 所述区域注意力机制块将形状为C ×H×W的图像转换为1 ×H×W， 处理过程为： 其中， Fresult表示区域注意力机制块的输出。 5.根据权利要求3所述的一种扫描透射图像恢 复方法， 其特征在于， 所述第 一生成器使权　利　要　求　书 1/2 页 2 CN 114519678 A 2用卷积、 密集 块及注意力机制结构搭建而成， 所述密集块用于提取从浅层到深层的所有特征， 密集块由三组结构单元组成， 每一组 结构单元均包括： 结构块、 注意力机制网络 。 6.根据权利要求1 ‑5中任一权利要求所述的一种扫描透射图像恢复方法， 其特征在于， 所述方法在网络的训练过程中使用非配对的图像执 行扫描透射图像恢复任务。 7.一种扫描透射图像恢复装置， 其特征在于， 所述装置包括： 处理器和存储器， 所述存 储器中存储有程序指 令， 所述处理器调用存储器中存储的程序指 令以使装置执行权利要求 1‑5中的任一项所述的方法步骤。 8.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序包括程序指令， 所述程序指令被处理器执行时使所述处理器执行权利 要求1‑5中所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114519678 A 3