(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211308602.4 (22)申请日 2022.10.25 (71)申请人 中国科学院深圳理工大 学 （筹） 地址 518055 广东省深圳市南 山区桃源街 道学苑大道1068号 (72)发明人 张毅　肖彦洋　毕国强　徐放　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 贾磊　许曼 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/11(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 17/16(2006.01)G02B 21/36(2006.01) (54)发明名称 一种光片荧光显微镜图像的条纹伪影消除 方法及装置 (57)摘要 本文涉及图像处理领域， 尤其涉及一种光片 荧光显微镜图像的条纹伪影消除方法及装置。 包 括， 获取光片荧光显微镜对生物样 本组织在同一 处位置进行多个角度的扫描得到的多个有条纹 图像， 并根据多个有条纹图像构造无条纹图像； 将多个有条纹图像和对应的无条纹图像作为训 练数据集， 根据多个训练数据集训练深度对抗网 络； 利用训练后的深度对抗网络消除目标生物样 本组织的有条纹图像的条纹伪像。 本文实施例通 过训练深度对抗网络模型对光片荧光显微镜所 获得的生物样本组织的有条纹图像进行条纹伪 像的消除， 提高了消除条纹伪像后得到的无条纹 图像的清晰度， 此外该方法适用于各种光片荧光 显微镜系统， 提高了消除条 纹伪像的方法的适应 性。 权利要求书3页 说明书15页 附图3页 CN 115546028 A 2022.12.30 CN 115546028 A 1.一种光片荧 光显微镜图像的条纹伪影消除方法， 其特 征在于， 包括： 获取光片荧光显微镜对生物样本组织在同一处位置进行多个角度的扫描得到的多个 有条纹图像， 并根据多个所述有条纹图像构造所述 生物样本组织在该位置的无 条纹图像； 将多个有条纹图像和对应的无条纹图像作为训练数据集， 根据 所述生物样本组织的多 个训练数据集训练深度对抗网络； 利用训练后的所述深度对抗网络消除目标生物样本组织的有条纹图像的条纹伪 像， 所 述目标生物样本组织的有条纹图像是通过所述光片荧光显微镜对所述目标生物样本组织 进行扫描得到的。 2.根据权利要求1所述的方法， 其特征在于， 所述深度对抗网络包括生成网络和判别网 络， 所述生成网络用于计算有条纹图像对应的无条纹图像， 所述判别网络用于判别所述生 成网络计算的无 条纹图像是否为真。 3.根据权利要求2所述的方法， 其特征在于， 所述生成网络的左半部分为编码器， 右半 部分为解码器； 训练所述生成网络的步骤包括利用所述训练数据集训练所述编码器， 再利用所述编码 器的计算结果训练所述 解码器， 得到所述 生成网络的训练结果。 4.根据权利要求3所述的方法， 其特征在于， 所述编码器包括编码器初始化模块和n个 由卷积层和卷积注意力模块组成的下采样编码模块， n 为大于1的正整数； 训练所述编码器的步骤为： 利用编码器初始化模块对所述训练数据集进行初始化， 利 用初始化后的训练数据集对多个下采样编 码模块进行训练， 其中前一个下采样编 码模块的 输出是后一个下采样编 码模块的输入， 将初始 化后的训练数据集作为第一个下采样编 码模 块的输入； 在编码器初始化模块的训练过程中， 首先按照设定卷积核大小、 步长、 填充、 输入通道 数和输出通道数的卷积函数Conv2d对 该下采样编码模块的输入进 行卷积计算， 然后使用激 活函数LeakyRelu对 卷积注意力模块的计算结果进行激活， 提供网络的非线性建模能力， 将 激活函数LeakyRelu的计算结果作为编码器初始化模块的输出； 在第一个下采样编码模块至第n ‑1个下采样编码模块的训练过程中， 首先按照设定卷 积核大小、 步长、 填充、 输入通道数和输出通道数的卷积函数Conv2d对 该下采样编码模块的 输入进行卷积计算， 然后使用归一化函数InstanceNorm2d对卷积计算的结果进行归一化， 然后使用卷积注意力模块CBAM对归一化的结果进行特征选择和增强， 最后使用激活函数 LeakyRelu对 卷积注意力模块的计算结果进 行激活， 提供网络的非线性建模能力， 将 激活函 数LeakyRelu的计算结果作为该 下采样编码模块的输出； 在最后一个下采样编码模块的训练过程中， 首先按照设定卷积核大小、 步长、 填充、 输 入通道数和输出通道数的卷积函数Conv2d对 该下采样编码模块的输入进 行卷积计算， 然后 使用激活函数Relu对卷积注意力模块的计算结果进行激活， 提供网络的非线性建模能力， 将激活函数Relu的计算结果作为所述编码器的计算结果。 5.根据权利要求4所述的方法， 其特征在于， 所述解码器包括解码器初始化模块和n个 由上采样卷积核、 跳层链接和卷积注意力模块构成的上采样解码模块， 所述解码器包括的 上采样解码模块的数量与所述编 码器的下采样层的数量相同且逆序一一对应， n为大于1的 正整数；权　利　要　求　书 1/3 页 2 CN 115546028 A 2训练所述解码器的步骤为： 利用解码器初始化模块对编码器的计算结果进行初始化， 利用初始化后的编码器的计算结果对多个上采样解码模块进行训练， 其中， 前一个上采样 解码模块的输出是后一个上采样解码模块的输入， 将初始化后的编 码器的计算结果作为第 一个上采样解码模块的输入； 在解码器初始化模块的训练过程中， 首先按照对应 的卷积函数ConvTranspose2d对所 述编码器的计算结果进行卷积计算， 然后使用归一化函数InstanceNorm2d对 卷积计算的结 果进行归一化， 然后使用卷积注意力模块CBAM对归一化的结果进行特征选择和增强， 最后 使用激活函数Relu对卷积注意力模块的计算结果进行激活， 提供网络的非线性建模能力， 将激活函数Relu的计算结果作为第一个上采样解码模块的输出； 在第一个上采样解码模块至第n ‑1个上采样解码模块的训练过程中， 首先使用跳层链 接对该上采样解码模块的输入和与该上采样解码模块对应的下采样编码模块的输出进行 链接， 得到链接结果， 然后按照设定卷积核 大小、 步长、 填充、 输入通道数和输出通道数的卷 积函数ConvTranspose2d对所述链接结果进行卷积计算， 然后使用归一化函数 InstanceNorm2d对 卷积计算的结果进行归一化， 然后使用卷积注 意力模块CBAM对归一化的 结果进行特征选择和增强， 最后使用激活函数Relu对卷积注意力模块的计算结果进行激 活， 提供网络的非线性建模能力， 将激活函数Relu的计算结果作为该上采样解码模块的输 出； 在最后一个上采样解码模块的训练过程中， 首先使用跳层链接对该上采样解码模块的 输入和与该上采样解码模块对应的下采样编码模块的输出进行链接， 得到链接结果， 然后 按照设定卷积核大小、 步长、 填充、 输入通道数和输出通道数的卷积函数ConvTranspose2d 对所述链接结果进行卷积计算， 最后使用激活函数Tanh对卷积计算的结果进行激活， 提供 网络的非线性建模能力， 将 激活函数Tanh的计算结果作为所述生成网络对训练数据集对应 的有条纹图像进行计算得到的无 条纹图像。 6.根据权利要求2所述的方法， 其特征在于， 所述判别网络包括判别网络初始化模块和 m个卷积模块， m为大于1的正整数； 所述判别网络的计算过程为： 利用所述判别网络初始化模块对所述生成网络计算得到 的无条纹图像进行初始 化， 利用初始 化后的无条 纹图像对多个卷积模块进 行训练， 其中， 前 一个卷积模块的输出是后一个卷积模块的输入， 初始化后的无条纹图像是第一个卷积模块 的输入， 最后一个卷积模块的输出 结果为所述判别网络的判别结果； 在所述判别网络初始化模块的计算过程中， 首先按照设定卷积核大小、 步长、 填充、 输 入通道数和输出通道数的卷积函数Conv2d对所述生成网络计算得到的无条纹图像进行卷 积计算， 然后使用激活函数LeakyRelu对 卷积计算的结果进 行激活， 提供网络的非线性建模 能力， 将激活函数LeakyRelu的计算结果作为所述判别网络初始 化模块的输出， 该判别网络 初始化模块的输出输入到第一个卷积模块； 在第一个卷积模块至第m ‑1个卷积模块的计算过程中， 首先按照设定卷积核大小、 步 长、 填充、 输入通道数和输出通道数的卷积函数Conv2d对 该卷积模块的输入进 行卷积计算， 然后使用归一化函数InstanceNorm2d对卷积计算的结果进行归一化， 最后使用激活函数 LeakyRelu对归一化的结果进行激活， 提供网络的非线性建模能力， 将激活函数LeakyRelu 的计算结果作为该 卷积模块的输出；权　利　要　求　书 2/3 页 3 CN 115546028 A 3