(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210192755.0 (22)申请日 2022.03.01 (71)申请人 南通大学 地址 226019 江苏省南 通市崇川区啬园路9 号 (72)发明人 高瞻　陈蓉　邵叶秦　王杰华　 (74)专利代理 机构 南通一恒专利商标代理事务 所(普通合伙) 32553 专利代理师 梁金娟 (51)Int.Cl. G06T 7/11(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于多模态特征融合Vnet的乳腺肿块 分割方法 (57)摘要 本发明提供一种基于多模态特征融合Vnet 的乳腺肿块 分割方法， 包括以下步骤： S1： 获取乳 腺磁共振图像及医生手工标记的乳腺肿块分割 结果的数据集； S2： 数据预处理， 对数据集中的数 据进行划分； S3： 构建基于多模态特征融合Vnet 的网络模型； S4： 训练步骤S3的网络模型， 进行参 数调整， 得到预测的乳腺肿块 分割结果； S5： 利用 设定的评价指标和损失函数对步骤S4所得的预 测的乳腺肿块分割结果与S1中医生手工标记的 乳腺肿块分割结果进行比较， 验证 分割方法的有 效性。 本发明能有效提高乳腺肿块分割准确率， 辅助医生进行诊断和决策， 减轻医生的负担， 在 乳腺肿块辅助诊断、 手术模拟和医疗教学具有较 强的应用价 值。 权利要求书2页 说明书6页 附图3页 CN 114549558 A 2022.05.27 CN 114549558 A 1.一种基于多模态特 征融合Vnet的乳腺肿块分割方法， 其特 征在于， 包括以下步骤： S1： 获取乳腺磁共 振图像及医生手工标记的乳腺肿块分割结果的数据集； S2： 数据预处 理， 对数据集中的数据进行划分； S3： 构建基于多模态特 征融合Vnet的网络模型； S4： 训练步骤S3的网络模型， 进行参数调整， 得到预测的乳腺肿块分割结果； S5： 利用设定的评价指标和损失函数对步骤S4所得的预测的乳腺肿块分割结果与步骤 S1中医生手工标记的乳腺肿块分割结果进行比较， 验证分割方法的有效性。 2.根据权利要求1所述的基于多模态特征融合Vnet的乳腺肿块分割方法， 其特征在于， 所述步骤S1的具体步骤为： S1.1： 获取多个病例的三维T1加权的乳腺磁共振图像， 包括低、 中、 高风险病例， 以及具 有良性和恶性肿瘤的病例， 建立数据集； S1.2： 获取医生手工标记数据集图像， 通过ITK ‑SNAP软件三维分割乳腺肿块区域。 3.根据权利要求1所述的基于多模态特征融合Vnet的乳腺肿块分割方法， 其特征在于， 所述步骤S2包括以下步骤： S2.1： 重采样： 对数据集中不同图像进行重采样， 使用数据集中各个图像不同间距的中 值来确定重采样的目标空间大小， 并根据目标间距确定每张图像的目标尺寸， 最后对每张 图片进行调整； S2.2： 图像裁 剪： 将图片统一裁成64* 64*64的尺寸， 得到 裁剪图像； S2.3： 标准 化处理： 进行灰度归一 化， 采用0均值标准 化， 公式如下： 式(1)中， μ、 σ 分别为原 始数据集的均值和标准差； S2.4： 进行零均值 化： 将图像进行平 移， 得到平 移后所有数据的中心为(0,0)； S2.5： 交叉验证： 将步骤S2.3处理后的数据进行分组， 分别设置训练集和验证集， 先用 训练集对分类器进行训练， 再利用验证集来测试训练得到的模型， 确定评价分类器的性能 指标。 4.根据权利要求1所述的基于多模态特征融合Vnet的乳腺肿块分割方法， 其特征在于， 所述S3包括如下步骤： S3.1： 网络模型的整体结构为编码器 ‑解码器结构， 其中， 在编码器中并行提取四种模 态在不同层级上 的深度特征， 使用特征融合模块对同层级的四个特征图进行信息融合， 特 征融合模块包含了RFB感受野模块； 首先对4种不同模态的特征图进行通道层上的拼接， 这 一部分就是RFB模块， RFB引入了不同核大小的空洞卷积层来增大感受野； S3.2： 特征融合模块还 包含3D‑SE模块， 内容如下： S3.2.1： 压缩： 由于特征v的每个单元都不能使用其他单元R的上下文信息， 所以通过全 局平均池化将全局空间信息压缩成一个通道描述符， R的空间维度H ×W由以下方式统计生 成R， 公式如下： 其中， Rc代表R的第c个元 素；权　利　要　求　书 1/2 页 2 CN 114549558 A 2S3.2.2： 激励： 使用步骤S3.2.1中获得的通道描述符来获得通道相关性， 该操作通过参 数W获得各通道的权重， 建立各通道之间的相关性模型； 该步骤采用一种简单 的门控机制， 带有一个sigmo id激活， 公式如下： l＝Fex(R,W)＝σ(g(R,W) )＝σ(W2δ(W1R))        (3)； 其中， δ代表ReLU函数， 该步骤 由两个全卷积层组成， 一个是降维层， 包括具有降维率r 的参数W1， 另一个是具有参 数W2的ReLU和降维层， 最终输出的通道系数是通 过激活函 数所获 得的， 激活函数公式如下： 其中， Fsc是通道式乘法； S3.2.3： 通过步骤S3.2.1和步骤S3.3.2得到通道系数， 对步骤S3.2.1中所提及的特征v 进行新的加权 。 S3.3： 网络模型的编码器包含瓶颈结构和下采样模块， 瓶颈结构包含三次重复的基本 的单元， 即3D卷积层、 Batc h normal层， ReLU层， 其中ReLU函数公式如下： f(x)＝max(0,x)         (5)； 在Batch normal层之后加入短连接， 构成残差单 元， 每个残差单 元用如下公式表示： Yi＝h(Xi)+F(Xi,Wi)        (6)； Xi+1＝f(Yi)       (7)； 其中， Xi和Xi+1表示第i个残差单元的输入和输出， F( ·)表示残差函数， h(Xi)表示一个 标识映射 函数， f(Yi)表示激活函数； 下采样模块将特 征图的分辨 率变为原来的一半； S3.4： 解码器主要由上采样模块和长连接结构构成， 上采样模块逐步地将特征图的分 辨率还原成原始输入， 长连接将特征融合模块的输出与上采样的输出相连接， 网络模型最 后的输出为 二值图像。 5.根据权利要求1所述的基于多模态特征融合Vnet的乳腺肿块分割方法， 其特征在于， 所述步骤S4的具体步骤为： S4.1： 使用步骤S3中的网络模型在预处理后的训练集上训练模型， 通过参数调整提升 模型效果， 保存网络模型； S4.2： 将测试集放入上述训练好的网络模型中进行预测， 输出自动分割的乳腺肿块区 域。 6.根据权利要求1所述的基于多模态特征融合Vnet的乳腺肿块分割方法， 其特征在于， 所述步骤S5包括如下步骤： S5.1:对该方法的性能进行评价： 首先选择经典的量化评价指标交并比(Intersection   Over Union,IoU)对分割结果进行量化。 IoU是语义分割中重要的评价指标， 其计算分割络 所预测肿瘤区域与标签中肿瘤区域的交集部分所占并集部分的比例， 公式如下： S5.2:所以选择Dice相似系数评价指标对分割结果进行量 化， 公式如下： 权　利　要　求　书 2/2 页 3 CN 114549558 A 3