(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210253312.8 (22)申请日 2022.03.15 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路3 号巷11号 (72)发明人 杨金柱　陈乐　马春燕　黄艳　 瞿明军　曹鹏　冯朝路　覃文军　 栗伟　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李在川 (51)Int.Cl. G06T 7/10(2017.01) G06T 3/40(2006.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于深度学习的CT影像全心脏分割方 法 (57)摘要 本发明公开了一种基于深度学习的CT影像 全心脏分割方法； 涉及医学图像领域； 在网络编 码阶段中引入残差模块， 增强了网络捕捉全心脏 子结构特征的能力。 在解码阶段引入基于注意力 机制的多尺度融合模块， 该模块在反卷积之后融 合多尺度特征并进行特征重利用， 更好的融合了 低级特征和高级特征。 同时将加权交叉熵损失函 数和加权DICE损失函数结合解决了类失衡问题， 在分割细 节上起到了良好的驱动作用。 本发明实 现方法简单， 自动将全心脏分成7个子结构， 包括 左心房、 左心室、 左心室心肌、 右心房、 右心室、 肺 动脉、 升动脉， 测试一个数据只需几秒钟， 极大的 减少了医生投入的时间和学习成本， 处理过程不 需要人工交 互， 达到了应用的要求。 权利要求书2页 说明书6页 附图3页 CN 114596317 A 2022.06.07 CN 114596317 A 1.一种基于深度学习的CT影 像全心脏分割方法， 其特 征在于： 包括以下步骤： 步骤1： 输入待分割三维医学图像， 并根据该图像的大小将其定义为大小为C ×H×W3维 特征数组， 表示 为： 图像X(C ×H×W)； 步骤2： 对步骤1中待分割图像进行 预处理， 作为训练样本； 步骤3： 建立全心脏分割网络， 利用全心脏分割 网络编码器生成5种不同深度的特征图 Out0， Out1， Out2， Out3， Out4， 解码阶段使用基于注意力机制的多尺度融合模块和深度监督模 块进行特征还原得到特 征图， Y0， Y1， Y2， Y3， Y4； 步骤4： 用训练样本对S3建立的全心脏分割网络进行训练， 得到训练好的深度 卷积神经 网络； 步骤5： 将步骤2预处理后的全心脏CT图像输入步骤4训练好的深度卷积神经网络进行 图像分割， 输出分割 好的全心脏CT图像， 包括7个子结构左心房、 左心室、 左心室心肌、 右心 房、 右心室、 肺动脉、 升动脉。 2.如权利要求1所述的基于深度学习的CT影 像全心脏分割方法， 其特 征在于： 所述步骤1的具体过程为： 数据输入， 输入待分割图像， 并根据将其定义为大小C ×H×W 的3维特征数 组， 表示为： 图像X(C ×H×W)； 输入的CT体数据使用常规造影术获得， 每个体数 据都覆盖 了整个心脏的所有子结构， 每 个体数据由M个2D切片组成。 3.如权利要求1所述的基于深度学习的CT影 像全心脏分割方法， 其特 征在于： 所述步骤2的具体过程为： 对输入的CT数据集进行预处理； 对标签数据原始标签值进行 重编码， 对新编码的标签值进行one ‑hot编码； 采用2D卷积方式训练神经网络， 将每个三维 体数据进行2D切片处理， 对 数据进行归一化处理， 得到每个体数据的最大灰度值Amax和最小 灰度值Amin， 根据归一 化公式来更新每 个点的灰度值Anew， 如式(1)所示： 其中， Aold为原始灰度值， 对图像顺时针或逆时针旋转进行 数据增强、 数据缩放操作。 4.如权利要求1所述的基于深度学习的CT影 像全心脏分割方法， 其特 征在于： 所述步骤3的具体过程， 包括以下步骤： 步骤3.1： 对 网络中的编码阶段保留残差网络前四个特征模块， 移除最后的全连接层和 平均池化层， 保留了4个layer层和第一个7 ×7的卷积层和池化层， 每个layer层包含两个残 差模块； 残差模块使用3 ×3大小的卷积核进行卷积操作， 每一个卷积层后紧跟一个BN层和 Relu操作来对所提取的特 征进行归一 化激活处理； 根据步骤1获取的图像X， 将图像X经过提取特征操作改变特征图通道数量， 经过最大池 化操作改变特征图的大小， 得到特征图 再经过layer层， 得到特征图 Outi+1， 其中i为特征图索引， i ＝1,2,3,4， 所述Outi+1分别为 权　利　要　求　书 1/2 页 2 CN 114596317 A 2步骤3.2： 在解码阶段上采样之后添加基于注意力 机制的多尺度融合模块， 多尺度融合 模块包括两个分支， 一个分支使用3个3 ×3大小的卷积进 行卷积操作， 将三个卷积操作的输 出进行特征融合， 可以提取不同尺度的空间特征， 另一个分支引入1 ×1的卷积层进一步捕 捉额外的空间信息， 结合编码阶段得到的特征图Out0～Out4， 进行上采样操作， 改变特征图大小， 与编码阶 段的特征图依 次进行拼接操作， 加强 图像上下文之间的语义信息， 再经过基于注意力机制 的多尺度融合模块， 改变特征图通道数， 同时注入深度监督机制来放大隐藏层特征， 注入深 度监督机制后输出的特 征图为Y0～Y4， 分别为： 5.如权利要求1所述的基于深度 学习的CT影像全心脏分割方法， 其特征在于： 所述步骤 4的具体过程为： 通过网络计算预测值， 对比预测值和真实值， 真实值即标签数据标注所有 目标相关信息， 通过损失函数计算损失值， 然后进 行反向传播对网络进 行更新， 将更新完成 的训练权 重保存到指定的位置 。 6.如权利要求1所述的基于深度 学习的CT影像全心脏分割方法， 其特征在于： 所述上采 样操作采用双线性插值 算法。 7.如权利要求1所述的基于深度学习的CT影像全心脏分割方法， 其特征在于： 所述2D切 片大小为512 ×512。 8.如权利要求1所述的基于深度 学习的CT影像全心脏分割方法， 其特征在于： 所述添加 注意力机制的具体过程， 包括以下步骤： 步骤3.2.1： 将多尺度语义信息融合模块进行全局平均池化操作， 将空间信息压缩成一 个与通道数等维度的向量， 获得 各个特征通道的注意力权 重； 步骤3.2.2： 为了捕获特征通道之间 的非线性关系， 引入两个全连接层、 relu和sigmoid 两种激活函数， 通过sigmo id实现权 重归一化； 步骤3.2.3： 通过scale操作将权 重与输入特 征图按通道对应相乘。权　利　要　求　书 2/2 页 3 CN 114596317 A 3