(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210172181.0 (22)申请日 2022.02.24 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 陈滨　张登峰　魏丹　邵艳利　 王兴起　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06T 7/10(2017.01) G06T 5/50(2006.01) G06K 9/62(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于空间信息与特征通道的脑肿瘤医 学图像分割方法 (57)摘要 本发明涉及一种基于空间信息与特征通道 的脑肿瘤医学图像 分割方法， 本发 明提出一种采 用RepVGG和双注意力机制来改进U ‑Net网络。 RepVGG通过支链结构和参数重构化方法使得在 不增加参数的情况下保持良好的模块泛化性能， 该模块可以解决复杂全卷积神经网络存在参数 多， 耗时长等缺点。 注意力机制已经广泛应用于 分割任务中， 其具有自动关注目标并抑制输入图 像中不相关的区域的特点， 双注 意力机制有效的 提取和利用空间中的焦点信息和特征通道之间 的相关信息， 实现精确的小目标分割能力。 本发 明解决了复杂网络模型开销大以及小目标分割 能力弱的局限性， 使 得模型能够获得对病变区域 的精确分割。 权利要求书2页 说明书5页 附图3页 CN 114549538 A 2022.05.27 CN 114549538 A 1.一种基于空间信 息与特征通道的脑肿瘤医学图像分割方法， 其特征在于包括如下步 骤： 步骤1： 将三维的MRI数据集进行 预处理； 步骤2： 经 过上述预处 理步骤处 理后的数据集作为模型训练数据集A； 步骤2‑1： 编码器部分将预处理完成的数据集A中图像x0先经过4次RepVGG卷积模块和下 采样处理实现增加特征通道数量和缩小图片尺 寸的目的， 第5次仅经过1个RepVGG卷积模块 进行处理,每一次处 理得到具有不同图片尺寸和不同特 征通道数的结果gi； 步骤2‑2： 解码器部分将上述第5次的结果g5经过4次上采样和增加双注意力机制的VGG 卷积模块进行处理， 最后经过1 ×1卷积进行特征融合， 得到每个像素属于目标分类的概率 预测值； 步骤2‑3： 通过BCEDiceLoss函数对多区域进行预测结果和真实标签进行计算得到损失 值， 通过反向传播更新步骤2 ‑1和2‑2神经网络的参数； 当BCEDiceLoss函数函数的数值趋于 稳定后， 得到最终的模型参数集 合； 步骤3： 将模型 结构和参数重构减小参数量； 编码器中的RepVGG模块， 通过重构的方式将1x1的支链卷积和恒等映射合并到3x3卷积 堆栈中， 减小模型参数量， 加快模型分割图像速度。 2.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法， 其特征在于： 所述的将三维的MRI数据集进行 预处理； 具体包括以下步骤： 步骤1‑1： 将三维MRI数据进行二维切片处理， 得到分别为T1,T2,FLAIR， T1CE四个特征 通道的二维图片序列， 并删除其中像素值 为零的图片； 步骤1‑2： 将具有四个特 征通道的二维图片序列进行归一 化处理； 步骤1‑3： 将上述1 ‑2归一化后的二维图片序列进行中心剪裁， 图片大小从240 ×240剪 裁到160×160。 3.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法， 其特征在于： 步骤2 ‑1中所述采用的RepVGG模块改进编码器的卷积模块， 实现了增加特征信 息量的同时防止梯度消失和梯度爆炸的效果； 每层卷积公式如下； gi＝f(xi)+g(xi)+xi    (1) xi表示第i层卷积的输入， f(xi)表示3x3的卷积操作， g(xi)表示1x1的卷积操作， gi代表 卷积融合后的结果。 4.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法， 其特征在于： 步骤2 ‑2中所述采用的双注意力机制改进的VGG模块， 实现了使得模型不仅在 空间信息上对目标特征 的提取更加精确， 而且能够充分利用不同通道之间的相关信息； 其 具体为: g表示编码器的跳跃连接， xl代表上采样后的图像数据， f1和f2表示两个不同的1x1卷 积， f3表示一个1x1卷积和Sigmoi d激活函数和ReLU激活函数的组合， Fsq为全局平均池化卷权　利　要　求　书 1/2 页 2 CN 114549538 A 2积， Fex为1x1的卷积和ReLU激活函数， Fscale为矩阵相乘操作。 5.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法， 其特征在于： 步骤2 ‑3中所述采用BCEDiceLoss损失函数是 因为软骰 子损失和交叉熵损失的 组合可以获得稳定性， 同时因为分割的评估是在三个部分重叠的区域上进行， 因此选择同 时对多区域优化， 公式如下： L'(x,y)＝ L'dice(x,y)+0.5 *L'bce(x,y)    (4) L(x,y)＝ Lwhole(x,y)+Lcore(x,y)+Lenh(x,y)    (5) L'dice表示dice损失函数， L'bce表示交叉损失函数， 两者的组合为BCEDiceLoss； Lwhole整 个肿瘤区域损失函数， Lcore表示肿瘤核心区域损失函数， Lenh表示肿瘤增强区域损失函数； x 表示预测值， y表示标签真实值， L'(x,y)表示单个区域的损失值， L(x,y)表 示三个区域损失 值的组合。 6.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法， 其特征在于： 步骤3中所述将编码器中的RepVGG模块， 通过重构的方式将1x1的支链卷积和 恒等映射合并到3x3卷积堆栈中； 首先将bn层和conv层转换成一个带有偏 差向量的conv， 将 得到一个3x3卷积核， 两个1x1卷积核， 以及三个偏差值； 再将两个1x1的卷积通过零填充的 方式等价转换为3x3的卷积； 利用公式将三个卷积核叠加为一个3x3的卷积并将三个偏差值 相加； 最终得到为仅有一个3x3卷积的VG G结构， 具体如下： bn(x*W, μ, σ,γ, β )＝(x*W')+b'     (7) Conv(x,w1)+Conv(x,w2)+Conv(x,w3)＝Conv(x,w1+w2+w3)    (8) 公式(6)和公式(7)中， μ， σ， γ， β 分别表示平均值、 标准偏差和学习的比例因子和偏差， x为输入的数据， W为bn层的权重， W'为bn和conv层转换后的卷积核的权重， b'为转换后的偏 差， *为卷积操作； ； 公 式(8)中x为输入的数据， w1， w2， w3分别为三个卷积的权重参数， 将三个 卷积进行线性叠加最终得到为仅有一个3x3卷积的VG G结构。权　利　要　求　书 2/2 页 3 CN 114549538 A 3