(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211279681.0 (22)申请日 2022.10.19 (71)申请人 云南大学 地址 650091 云南省昆明市翠湖北路2号 (72)发明人 韩永强　李海燕　李海江　郭磊　 陈泉　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 贾瑞华 (51)Int.Cl. G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种脑部医学图像合成方法、 系统、 电子设 备及存储介质 (57)摘要 本发明涉及一种脑部医学图像合 成方法、 系 统、 电子设备及存储介质， 首先利用多模态融合 网络将两个源图像的同层次特征进行融合后相 加， 学习多模态数据之间的公共潜在表示向量， 同层次特征可以为高层语义信息或低级细粒度 特征， 解决了现有双模态医学图像合成方法无法 有效地提取融合多层次特征的问题； 然后使用残 差瓶颈注意力机制将公共潜在表示向量与注意 力感知特征进行耦合， 可以更好地保留原始图像 中丰富的图像信息； 最后使用多模态 合成网络融 合了耦合特征图和每个源图像的多层次特征， 输 出目标模态的脑部医学合 成图像， 充分利用多模 态医学图像 之间的互补信息， 能够生成语义信息 更丰富、 细粒度特征更强、 纹理细节更细腻的目 标模态图像 。 权利要求书3页 说明书11页 附图4页 CN 115456927 A 2022.12.09 CN 115456927 A 1.一种脑部医学图像合成方法， 其特 征在于， 包括： 获取待合成的脑部 医学源图像对； 所述待合成的脑部 医学源图像对包括互相配准的两 个不同模态的源图像； 采用特定于模态的特征提取网络对每个源图像进行特征提取， 获得每个源图像的多层 次特征； 利用多模态融合网络将两个源图像的同层次特征进行融合后相加， 获得多模态数据之 间的公共潜在表示向量； 所述多模态融合网络包括多个依次连接的第一混合注意力融合模 块， 所述第一混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特 征； 使用残差瓶颈注意力 机制将所述公共潜在表示向量与注意力感知特征进行耦合， 获得 耦合特征图； 根据所述耦合特征图和每个源图像的多层次特征， 利用多模态合成网络输出目标模态 的脑部医学合成图像； 所述多模态合成网络包括多个依次连接的第二混合注意力融合模 块， 多个所述第二混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特 征后与耦合特 征图相加。 2.根据权利要求1所述的脑部医学图像合成方法， 其特征在于， 所述第 一混合注意力融 合模块用于通过多种融合策略融合两个源图像的同层次特 征， 具体包括： 根据两个源图像的同层次特征， 利用公式 和 通过多种融合策略确定融合权重； 式中， Max分别为元素间相加、 元素间相乘、 元素 间最大化， 为两个源图像第n ‑1层特征， 为元素间相 加权重， 为元素间相乘 权重， Fmax为元素间最大化权 重， 为通道数3C、 高H、 宽W的张量形状； 利用公式W＝σ(C3C4F)计算软注意力机制权重W； 式中， C3、 C4为第三、 第四卷积层， σ为 Sigmod函数； 根据软注意力机制权重和融合权重， 利用公式 确定混合注意力融 合模块的最终输出 FMAF； 式中， C5为第五卷积层。 3.根据权利要求1所述的脑部医学图像合成方法， 其特征在于， 所述使用残差瓶颈注意 力机制将所述公共潜在表示向量与注意力感知特 征进行耦合， 获得耦合特 征图， 具体包括： 利用公式mc(f)＝σ(MLP(AVGP OOL(f)))+MLP(MAXP OOL(f))确定公共潜在表示向量的通 道注意力分量； 式中， mc(f)为公共潜在表示向量的通道注意力分量， MLP为多层感知器， AVGPOOL为平均池化操作， MAXPOOL为最大池化操作， f为公共潜在表示向量， σ 为Sigmod函 数； 利用公式ms(f)＝σ(f7×7([AVGPOOL(f)； MAXPOOL(f)]))确定公共潜在表示向量的空间 注意力分量； 式中， ms(f)为公共潜在表示向量的空间注 意力分量， f7×7为卷积核大小为7 ×7 的卷积运 算；权　利　要　求　书 1/3 页 2 CN 115456927 A 2根据空间注意力分量、 通道注意力分量和公共潜在表示向量， 利用公式 确定最终输出分量f ”'， 构成耦合特 征图； 其中， f'为 通道注意力输出， f ”为空间注意力输出， 为元素间相乘， 为元素间相加。 4.根据权利要求1所述的脑部医学图像合成方法， 其特征在于， 所述多模态合成网络还 包括卷积层； 多个依次连接的第二混合注意力融合模块中位于末端的第二混合注意力融合模块输 出端与卷积层的输入端连接； 所述卷积层用于根据所有第二混合注意力融合模块最 终输出 的特征， 获得目标模态的脑部医学合成图像。 5.根据权利要求1所述的脑部医学图像合成方法， 其特征在于， 所述获取待合成的脑部 医学源图像对， 之前还 包括： 使用样本数据集对特定于模态的特征提取网络、 多模态融合网络、 残差瓶颈注意力机 制和多模态合成网络进行训练； 所述样本数据集由脑部医学源图像对样本和对应的脑部医 学合成图像标签组成。 6.根据权利要求5所述的脑部医学图像合成方法， 其特征在于， 所述特定于模态的特征 提取网络的训练过程 为： 构建重构网络； 所述重构网络包括反卷积层； 利用所述重构网络将每 个源图像的多层次特 征重建为图像； 根据每个源图像和对应重 建后的图像， 使用重 建损失函数 对特定于模态的特 征提取网络进行训练； 式中， 为第i个源图像， 为 的重建图像， ||*||1为L1范数， 为 的均值， 为 的均值， 为 的方差， 为 的方差， 为协方差， LRS为重建损失函数， LR为L1‑范数损 失函数， Lssim为结构相似性损失函数。 7.根据权利要求5所述的脑部医学图像合成方法， 其特征在于， 所述多模态合成网络的 训练过程 为： 建立鉴别器， 对目标模态图像与真实标签进行鉴别； 确定所述鉴别器的损失函数为 式中， LD为鉴别器的损失函数， D(x， y)为鉴别器对源图像x和目标图像标签y进行鉴别所得 布尔值， 为对数据集pdata中源图像x进行最大似然估计， 为对数据集 pdata中源图像x和目标图像标签y进行最大似然估计， D(x， G(x))为鉴别器对源图像和 生成 的目标图像进行鉴别所 得布尔值； 建立SSIM‑L1联合损失函数为权　利　要　求　书 2/3 页 3 CN 115456927 A 3