(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111679850.5 (22)申请日 2021.12.31 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 陈俊晓　韦佳　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 代理人 周春丽 (51)Int.Cl. G16H 30/20(2018.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于目标感知生成对抗网络的多模态医学 图像翻译方法 (57)摘要 本发明公开了基于目标感知生成对抗网络 的多模态医学图像翻译方法。 所述方法具体如 下： 给定来自源模态的整体图像及其对应的目标 区域标签， 通过二值化操作获得一个只包含目标 区域的目标区域图像； 构建基于目标感知的生成 对抗网络框架； 使用后向传播算法和自适应矩估 计优化算法训练生成对抗网络框架； 给定任意目 标模态， 采用训练完成的生成器， 将来自源模态 的任何输入整体图像转换为目标模态对应的翻 译后的整体图像， 并翻译来自源模态的目标区域 图像到相应的目标模态对应的翻译后的局部区 域图像。 本发 明的生成器同时学习整体翻译和局 部翻译两 条映射路径， 再配合提出的交叉一致性 损失函数来进一步优化， 最终生成整体和局部均 高质量的多 模态医学图像 。 权利要求书2页 说明书7页 附图2页 CN 114373532 A 2022.04.19 CN 114373532 A 1.基于目标感知生成对抗网络的多模态医学图像翻译方法， 其特征在于， 包括以下步 骤： S1、 给定来自源模态s的整体图像xs及其对应的目标区域标签y， 通过二值化操作y ·xs 获得一个只包 含目标区域的目标区域图像rs； S2、 构建基于目标感知的生成对抗网络框架， 生成对抗网络框架包括一个生成器G、 第 一判别器Dx和第二判别器Dr； S3、 分别构建生成器G、 第一判别器Dx和第二判别器Dr的损失函数； S4、 使用后向传播算法和自适应矩估计优化算法训练生成对抗网络框架， 得到训练完 成的生成器G； S5、 给定任意目标模态t， 采用训练完成的生成器G， 将来自源模态s的任何输入整体图 像xs转换为目标模态t对应的翻译后的整体图像xt， 并翻译来 自源模态s 的目标区域图像rs 到相应的目标模态 t对应的翻译后的局部区域图像rt， 用公式表示 为G(xs,rs,t)→(xt,rt)。 2.根据权利要求1所述的基于目标感知生成对抗网络的多模态医学图像翻译方法， 其 特征在于： 步骤S2中， 生成器G用于生成翻译模态后的整体图像和局部图像， 同时把生成的 整体图像和局部图像还原回原始输入图像， 第一判别 器Dx和第二判别器Dr分别用于判别输 入的整体图像和 局部图像分别属于什么模态以及是否像真实图像。 3.根据权利要求2所述的基于目标感知生成对抗网络的多模态医学图像翻译方法， 其 特征在于： 生成器G为双输入输出流 生成器， 包括 一个特征共享层和两对编码器/解码器； 给定目标模态t， 生成器G中， 一个输入输出流中， 结合特征共享层， 一对编码器/解码器 将输入的来自源模态s的整体图像xs转换为目标模态t对应的翻译后的整体图像xt； 另一个 输入输出流中， 结合特征共享层， 另一对编码器/解码器将输入的目标区域图像rs转换为目 标模态t对应的翻译后的局部区域图像rt。 4.根据权利要求2所述的基于目标感知生成对抗网络的多模态医学图像翻译方法， 其 特征在于： 第一判别器Dx和第二判别器Dr的主干网络使用PatchGAN思想的架构， 其中， 第一 判别器Dx以翻译后的整体图像xt为输入， 输出翻译后的整体图像xt的模态分类结果和真实 性结果； 第二判别器Dr以翻译后的局部区域图像rt为输入， 输出翻译后的局部区域图像rt的 模态分类结果和真实性结果。 5.根据权利要求1所述的基于目标感知生成对抗网络的多模态医学图像翻译方法， 其 特征在于： 步骤S3中采用对抗损失函数和域分类损失函数作为生成器G、 第一判别器Dx和第 二判别器Dr的公共损失函数， 采用循环一致性损失函数和交叉一致性损失函数作为生成器 G的额外损失函 数， 对抗损失函 数用于约束第一判别器Dx和第二判 别器Dr判别输入的图像是 否真实的误差， 域分类损失函数用于约束第一判别 器Dx和第二判别 器Dr对输入的图像进行 模态分类的误差， 循环一致性损失函数用于约束模态翻译图像重构的误差， 交叉一致性损 失函数用于约束 整体图像翻译的目标区域是否 接近目标图像生成的误差 。 6.根据权利要求5所述的基于目标感知生成对抗网络的多模态医学图像翻译方法， 其 特征在于： 对抗损失函数 形式如下 所示： Ladv_x＝E[log Dsrc_x(xs)]+E[log(1‑Dsrc_x(xt))] Ladv_r＝E[log Dscr_r(rs)]+E[log(1‑Dscr_r(rt))] 其中， Ladv_x表示整体图像xs和翻译后的整体图像xt的对抗损失； Ladv_r表示目标区域图权　利　要　求　书 1/2 页 2 CN 114373532 A 2像rs和翻译后的局部区域图像rt的对抗损失； E代表所求值的期望； Dsrc_x(xs)和Dsrc_x(xt)分 别表示整体图像xs和翻译后的整体图像xt的真实性的概率分布； Dscr_r(rs)和Dscr_r(rt)分别 表示目标区域图像rs和翻译后的局部区域图像rt的真实性的概 率分布。 7.根据权利要求5所述的基于目标感知生成对抗网络的多模态医学图像翻译方法， 其 特征在于： 域分类损失函数 形式如下： Lcls_x＝E[‑log Dcls_x(c|x)] Lcls_r＝E[‑log Dcls_r(c|r)] 其中， Lcls_x和Lcls_r分别对应图像x和区域图像r的域分类损失函数， 其中， 图像x＝[xs, xt]， 区域图像r＝[rs,rt]； E代表所求值的期望； Dcls_x(c|x)和Dcls_r(c|r)分别代表判别器Dx 和Dr计算输入的图像x和区域图像r为c模态的概 率。 8.根据权利要求5所述的基于目标感知生成对抗网络的多模态医学图像翻译方法， 其 特征在于： 循环一 致性损失函数Lrec如下所示： Lrec＝E[||xs‑x′s||1]+E[||rs‑rs′||1] 其中， E代表所求值的期望， x ′s和rs′来自G(xt,rt,s)， 分别表示源模态s对应的重构整体 图像和重构目标区域图像， 即给定成对的翻译后的整 体图像xt和翻译后的局部区域图像rt， 以及原模态类别标签s， 生成器G试图去重构来自源 模态s的整体图像xs和目标区域图像rs。 9.根据权利要求5所述的基于目标感知生成对抗网络的多模态医学图像翻译方法， 其 特征在于： 交叉一 致性损失函数Lcross如下所示： Lcross＝E[||xt·y‑rt||1] 其中， 翻译后的整体图像xt和翻译后的局部区域图像rt均为生成器G生成的图像， y为整 体图像xs对应的目标 标签。 10.根据权利要求1～9任一项所述的基于目标感知生成对抗网络的多模态医学图像翻 译方法， 其特征在于： 步骤S4中， 将对抗损失函数、 域分类损失函数、 循环 一致性损失函数和 交叉一致性损失函数相加并赋予权重系数从而得到整体损失函数， 并使用后向传播算法和 ADAM优化算法去最小化整体损失函数从而训练生成对抗网络框架， 整体目标函数形式如 下： LG＝Ladv_x+Ladv_r+λclsLcls_x+λclsLcls_r+λrecLrec+λcLcross 其中， LG、 和 分别代表生成器G、 判断器Dx和判断器Dr的最终目标函 数； λcls代表域 分类损失函数的权重系数、 λrec代表循环一致性损失函数的权重系数、 λc代表交叉一致性损 失函数的权 重系数。权　利　要　求　书 2/2 页 3 CN 114373532 A 3