(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210411370.9 (22)申请日 2022.04.19 (71)申请人 江南大学 地址 214122 江苏省无锡市通沙路898号 南 楼七层 (72)发明人 陈丽芳　万里　詹千熠　谢振平　 刘渊　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 沈鑫 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于3Dtran sformer混合卷积神经网络的胰 腺CT图像分割方法 (57)摘要 本发明公开了一种基于3Dtran sformer混合 卷积神经网络的胰腺CT图像分割方法， 包括： 采 集胰腺CT图像数据集并进行数据预处理； 利用步 进卷积进行下采样， 利用3Dtransformer进行特 征提取， 利用反卷积上采样进行解码， 以建立 3Dtransformer混合卷积神经网络； 将预处理后 的数据输入所述3Dtran sformer混合卷积神经网 络， 输出分割结果； 本发明结合卷积神经网络局 部表征能力 与Transformer的全局建模能力来提 取融合胰腺各级特征； 提出一种适用胰腺和网络 的损失函数， 改善了针对胰腺类别不平衡以及纹 理信息大不相同带来的学习难易程度存在差异 等问题； 采用多视角跳跃连接及特征融合模块弥 补了医学图像U型架构上下采样的信息损失问 题。 权利要求书2页 说明书7页 附图3页 CN 114742802 A 2022.07.12 CN 114742802 A 1.一种基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法， 其特征在于， 包 括： 采集胰腺CT图像数据集并进行 数据预处 理； 利用步进卷积进行下采样， 进而编码， 利用3Dtransformer进行特征提取， 利用反卷积 上采样进行解码， 以建立3Dt ransformer混合卷积神经网络； 将预处理后的数据输入所述3Dt ransformer混合卷积神经网络， 输出分割结果。 2.如权利要求1所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法， 其特征在于， 所述数据预处 理包括： 利用旋转缩放、 高斯噪声、 高斯模糊、 亮度与对比度调整、 低分辨率调整、 伽马增强和随 机裁剪进行数据增强； 将所述胰腺CT图像数据集重新采样到相同的体素间距； 统计所述胰腺CT图像数据集标签的CT值范围并裁剪出[0.5,99.5]的百分比范围， 以进 行全局归一 化。 3.如权利要求2所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法， 其特征在于， 还 包括： 将所述数据预处理后截取的3D体积块作为所述3Dtransformer混合卷积神经网络输 入。 4.如权利要求1所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法， 其特征在于： 所述3Dtransformer混合卷积神经网络包括三层步进卷积下采样、 三层反卷积上采样、 三处跳跃 连接、 三个特 征融合模块和14个3Dt ransformer模块。 5.如权利要求4所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法， 其特征在于， 所述 步进卷积下采样包括： 每层所述 步进卷积下采样利用两个连续的3Dt ransformer模块 提取特征。 6.如权利要求5所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法， 其特征在于， 还 包括： 所述步进卷积下采样中采用的是步进卷积、 层正则化和GeLU激活函数。 7.如权利要求5所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法， 其特征在于， 所述3Dt ransformer模块包括： 利用3D滑动窗口遍历输入3D体积图像， 利用transformer计算所述3D滑动窗口内的自 注意力， 再重新划分窗口， 计算交 互窗口间的注意力。 8.如权利要求4所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法， 其特征在于， 所述特 征融合模块包括： 所述特征融合模块将经过所述反卷积上采样的特征和编码器传到解码器的两极多视 角特征进行融合； 将解码器反卷积上采样信 息和编码器反卷积上采样信息分别经过HWD的三个通道方向 的平均池化， 进行特征映射表示， 并合并为解码器反卷积上采样特征和编码器反卷积上采 样特征； 将核大小为1 ×1×1、 步长为1的卷积核分别应用于解码器反卷积上采样特征和编 码器反卷积上采样特征， 再由Relu函数激活； 利用另一个核大小为 1×1×1、 步长为1的卷积权　利　要　求　书 1/2 页 2 CN 114742802 A 2核进行反卷积运算， 通过sigmoid函数计算权重矩阵； 将所述权重矩阵和同级跳跃连接传到 解码器的特 征进行矩阵乘运 算， 并输入解码器。 9.如权利要求1所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法， 其特征在于， 还 包括： 所述3Dtransformer混合卷积神经网络的学习率 lr为： 其中， initial_lr为初始学习率， epoc h_id为训练轮次， max_epoc h为最大训练轮次。 10.如权利要求1所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方 法， 其特征在于， 还 包括： 利用FocalLoss和DiceLoss的加权损失作为所述3Dtransformer混合卷积神经网络的 损失函数L： 其中， TP、 FN、 FP为预测出来为胰腺的真阳性数量、 假阴性数量和假阳性数量， n为胰腺 的预测概率， pn为体素， gn为胰腺的真实位置， λ为FocalLoss和DiceLoss的权重比值， N为胰 腺CT图像的体素总数。权　利　要　求　书 2/2 页 3 CN 114742802 A 3