(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210312808.8 (22)申请日 2022.03.28 (71)申请人 嘉兴职业 技术学院 地址 314500 浙江省嘉兴 市桐乡大道547号 (72)发明人 沈旭东　吴湘莲　楼平　雷英栋　 陶冶博　 (74)专利代理 机构 嘉兴启帆专利代理事务所 (普通合伙) 33253 专利代理师 熊亮亮 (51)Int.Cl. G06V 10/26(2022.01) G06K 9/62(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) (54)发明名称 基于Unet的多任务气胸 医学图像语义分割 模型系统及其方法 (57)摘要 本发明公开了基于Unet的多任务气胸 医学 图像语义 分割模型系统及其方法， 基于Unet的多 任务气胸医学图像语义分割模型方法， 包括步骤 S1： 获取气胸CT图像并且对气胸CT图像通过第一 模型和第二模 型进行编码处理， 从而获得图像二 分类。 本发明公开的基于Unet的多任务气胸医学 图像语义 分割模型系统及其方法， 对传统的U net 语义分割进行改进， 编码阶段采用Resnet 34作为 框架， 对图像特征信息， 引入SCSE模块进行修正， 从空间和通道两个方向获取图像的全局信息， 损 失函数采用 “分类”和“分割”融合的多任务策略 进行学习， 对气胸医学图像进行语义分割。 权利要求书2页 说明书6页 附图2页 CN 114743000 A 2022.07.12 CN 114743000 A 1.一种基于Unet的多任务气胸医学图像语义分割模型方法， 用于对气胸医学图像进行 语义分割， 其特 征在于， 包括以下步骤： 步骤S1： 获取气胸CT图像并且对气胸CT图像通过第一模型和第二模型进行编码处理， 从而获得图像二分类； 步骤S2： 在解码处理时融合编码处理阶段的各层特征信息并且进行上采样， 并且结合 第二模型对上采样的各层信息进行不断融合， 以获得语义分割图像； 步骤S3： 对图像二分类的损失函数和语义分割图像的损失函数进行融合， 并且损失函 数采用分类和分割融合的多任务策略进行学习， 从局部像素点和全局像素点的分类上进 行 融合， 在调整权 重关系后获得全局损失函数， 进 而实现对气胸CT图像的语义分割。 2.根据权利要求1所述的基于Unet的多任务气胸医学图像语义分割模型方法， 其特征 在于， 步骤S1具体实施为以下步骤： 步骤S1.1： 第一模型作 为气胸CT图像的基础特征提取网络 并且通过在网络中增加残差 网络的方法进行基础特 征提取； 步骤S1.2： 第二模型通过空间压缩模块和通道压缩模块对提取的基础特征进行修正处 理， 从而获得第一模型对应的每一层的修 正数据； 步骤S1.3： 通过第一模型和第二模型对气胸CT图像进行编码处理， 从而获得图像二分 类。 3.根据权利要求1所述的基于Unet的多任务气胸医学图像语义分割模型方法， 其特征 在于， 步骤S2具体实施为以下步骤： 步骤S2.1： 编码处理中的第一模块对编码处理中的最大池化处理所在的模块进行上采 样， 以获得第一特征图并且通过第二模型对第一特征图进行第一修正处理， 以获得第一修 正数据； 步骤S2.2： 编码处理中的第二模块对第一模块获得的第 一修正数据进行上采样并且融 合编码处理中的第一模型的第五层所在的模块对应的修正数据， 以获得第二特征图并且通 过第二模型对第二特 征图进行第二 修正处理， 以获得第二 修正数据； 步骤S2.3： 编码处理中的第三模块对第二模块获得的第 二修正数据进行上采样并且融 合编码处理中的第一模型的第四层所在的模块对应的修正数据， 以获得第三特征图并且通 过第二模型对第三特 征图进行第三 修正处理， 以获得第三 修正数据； 步骤S2.4： 编码处理中的第四模块对第三模块获得的第 三修正数据进行上采样并且融 合编码处理中的第一模型的第三层所在的模块对应的修正数据， 以获得第四特征图并且通 过第二模型对第四特 征图进行第四修 正处理， 以获得第四修 正数据； 步骤S2.5： 编码处理中的第五模块对第四模块获得的第四修正数据进行上采样并且融 合编码处理中的第一模型的第二层所在的模块对应的修正数据， 以获得第五特征图并且通 过第二模型对第五特 征图进行第五修 正处理， 以获得第五修 正数据； 步骤S2.6： 对编码处理中的各个模块获得的对应的修正数据进行融合， 从而完成编码 处理， 进而获得语义分割图像。 4.根据权利要求3所述的基于Unet的多任务气胸医学图像语义分割模型方法， 其特征 在于， 步骤S1和步骤S2中的通过第二模型的空间压缩模块和通道压缩模块进 行修正的处理 为：权　利　要　求　书 1/2 页 2 CN 114743000 A 2假设输入的气胸CT图像为X∈RH×W×C， 假设编码处理中获得的基础 特征或者解码处理中 获得的特征图为U∈RH×W×C'， H和W表示图像的空间高度和宽度， C和C'表示输入和输出 的通 道数量， 通过卷积和非线性变换操作后， U中包含了X中空间和通道的信息， 在每次编码或解 码处理后， 引入第二模型， 将U修 正为U’， 对于空间压缩模 块， 假设输入特征图U ＝[u1,u2,…uC]， 其中ui∈RH×W代表每个通道的特 征图， 通过全局平均池化操作， 得到向量z∈R1×1×C， 对于第k个通道特 征图变换如下： 该变换在z中引入了全局空间特征信息， 再通过z'＝W1(δ(W2z))， 得到z ’， 其中 为两个全连接网络， δ( ·)为ReLU操作,再通过sigmod变换， 得到归一 化修正系数σ(z')∈[0,1]， 最终通过修 正系数乘以输入特 征图U， 得到U ′cSE， U′cSE＝[σ(z′1)u1, σ(z'2)u2,…σ(z'C)uC]； 对于通道压缩模块， 假设输入特征 图U＝[u1,u2, …uC]， 通过转换得到U＝[u1,1,u1,1… ui,j…uH,W]， 其中ui,j∈R1×1×C代表对应的空间位置(i,j),通过q＝Wsq*U卷积操作实现空间挤 压操作， 再通过sigmod变换， 得到归一化修正系数σ(q)∈[0,1， 最 终通过修正系数乘以输入 特征图U， 得到U ′sSE， U′sSE＝[σ(q1,1)u1,1, σ(q1,2)u1,1,…σ(qh,w)uH,W]； 最后得到通过相加得到两者的融合信 息， 对空间信 息和通道信 息重要性均进行权重处 理的输出， U ′sCSE＝U′cSE+U′sSE。 5.一种基于Unet的多任务气胸医学图像语义分割模型系统， 包括存储器、 处理器以及 存储在所述存储器中并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执 行所述计算机程序时实现如权利要求 1‑4任意一项 所述基于Unet的多任务气胸医学图像语 义分割模型 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114743000 A 3