(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210123897.1 (22)申请日 2022.02.10 (66)本国优先权数据 202210084880.X 202 2.01.25 CN (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号 (72)发明人 王平　张晨滨　颜鲲　马萌　 刘德风　和清源　 (74)专利代理 机构 北京万象新悦知识产权代理 有限公司 1 1360 专利代理师 贾晓玲 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态MRI图像的肌肉分割模 型方 法 (57)摘要 本发明公布了一种基于多模态MRI图像的肌 肉分割模型方法， 属于医学图像分割技术领域。 本发明集中所有MRI数据的物理信息， 每例MRI数 据通过编码器生成FAT模态和WATER模态图像特 征， 再通过注 意力机制子模块整合两个模态的信 息， 最后通过解码模块生成肌肉分割的结果， 再 将该结果和真实标注进行比对， 通过反向传播的 方式训练模型， 得到训练好的基于多模态MRI图 像的肌肉分割模型。 本发明在多模态的情况下， 充分利用各个模态之间的互补性， 深入挖掘图像 的结构信息和语义信息， 提高肌肉分割的准确率 和稳定性。 权利要求书2页 说明书4页 附图2页 CN 114511540 A 2022.05.17 CN 114511540 A 1.一种基于多模态MRI图像的肌肉分割模型 方法， 其特 征在于， 具体步骤 包括： A.遍历整个数据集的每一张MRI图像， 解析MRI图像的物理信息； B.采用两个结构一致参数不共享的编码器分别编码一对MRI图像， 它们分别来自FAT模 态和WATER模态， 得到 两个模态的多个中间特 征； C.采用注意力机制子模块 拼接上述两个模态的中间特 征， 得到整合后的多模态特 征； D.通过解码器生成肌肉分割的结果， 将该结果和真实标注进行比对， 通过反向传播的 方式训练模型， 得到训练好的基于多模态MRI图像的肌肉分割模型。 2.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法， 其特征在于， 步骤A具 体为： 1)遍历整个数据集的每一 张MRI图像Ii， 解析图像中 的层厚信息(di， hi， wi)， 这里di， hi， wi分别表示图中每 个体素的物理深度、 高度和宽度； 2)计算出 数据集的平均层厚 将所有的MRI图像都放缩到该层厚； 3)遍历每张放缩后的MRI图像I ′i， 解析分辨率信息(Di， Hi， Wi)， 其中Di， Hi， Wi分别是图像 的深度、 高度和宽度； 4)根据每张图像的分辨率信息计算出最大的分辨率 并将每张MRI图像填充 至该分辨 率。 3.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法， 其特征在于， 步骤B具 体为： 编码器一， 编码来自FAT模态的MRI图像， 其中输入MRI图像首先经过卷积子模块1.1， 得 到中间特征1； 再对中间特征1经过池化层做降采样， 输入到卷积子模块1.2， 得到中间特征 2； 以此类 推得到多个中间特 征； 编码器二， 编码来自WATER模态的MRI图像， 编码过程与编码器一相同。 4.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法， 其特征在于， 步骤C 中 注意力机制子模块具体操作为： 1)使用一个3D卷积层计算出两个模态的相对权 重； 2)在特征的每个空间位置， 从权重数组对应位置读出当前位置两个模态的相 对权重w1 和w2， 从两个模态分别读出当前位置的特征向量1和特征向量2， 按照权重对两个特征向量 加权求和得到新的特 征向量。 5.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法， 其特征在于， 编码器 包含多个层叠的池化层和卷积子模块， 卷积子模块以原始图像数据或上一个卷积子模块的 输出为输入， 得到中间特 征。 6.如权利要求5所述的基于多模态MRI图像的肌肉分割模型方法， 其特征在于， 卷积子 模块包括多个卷积层和非线性层， 图像数据会先经过卷积层， 得到数组形状不变的特征， 然 后再用非线性层把特 征中的所有负数置 0， 得到输出的中间特 征。 7.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法， 其特征在于， 解码器 由交替的卷积子模块和上采样层所构成， 从底层特征开始， 逐步用上采样层解析特征 的空 间维度， 采用卷积子模块融合多层特 征， 最终输出肌肉的分割结果。 8.如权利要求1所述的基于多模态MRI图像的肌肉分割模型方法， 其特征在于， 步骤D中权　利　要　求　书 1/2 页 2 CN 114511540 A 2计算得到损失函数： 其中， 表示预测的分割结果在位置(i， j， k)的取值， 表示金标准人工标注结 果在位置(i， j， k)的取值， δ(x， y)是一个判断函数， 当x和y数值一致时， δ(x， y)取值为1， 否 则为0； 该损失函数衡量了模型分割结果和真实标注结果之间的一致程度， 两者一致程度越 高， 该损失函数的取值低， 模型的训练目标就是最小化该损失函数的值。 9.如权利要求8所述的基于多模态MRI图像的肌肉分割模型方法， 其特征在于， 模型的 训练方式是从损失函数开始， 回传梯度至两个编码器、 注意力机制模块和解码器当中的每 个参数， 再 让每个参数根据其对应的梯度更新。权　利　要　求　书 2/2 页 3 CN 114511540 A 3