(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210814858.6 (22)申请日 2022.07.12 (71)申请人 国电南瑞科技股份有限公司 地址 211106 江苏省南京市江宁经济技 术 开发区诚信大道19号2幢 申请人 国电南瑞南京控制系统有限公司 (72)发明人 叶中玉　刁东宇　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 王苗 (51)Int.Cl. G06T 7/10(2017.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于混合卷积网络的脉络膜新生血管 图像分割方法 (57)摘要 本发明公开了一种基于混合卷积网络的脉 络膜新生血管图像分割方法， 首先采集眼底OCT 扫描图像并进行标注， 将标注 好的图像组成数据 集； 构建融合注意力机制的深度时空分离混合卷 积神经网络， 采用二维卷积进行二维特征提取， 然后扩展到三维， 再进行三维注 意力深度时空分 离卷积， 将二维特征与三维特征进行对齐融合； 然后使用数据集训练构建的混合神经网络模型； 最后使用训练好的混合神经网络模型从眼底OCT 扫描图像中分割脉络膜新生血管， 得到分割结 果。 通过时空注意力机制更好的对 脉络膜新生血 管图像局部特征进行提取， 使用深度时空分离卷 积， 对输入 特征图进行降维操作可以有效减少计 算参数， 从而降低了网络计算量， 就能更有效地 计算出通道 注意力。 权利要求书3页 说明书7页 附图1页 CN 115330807 A 2022.11.11 CN 115330807 A 1.一种基于混合卷积网络的脉络膜新生血管图像分割方法， 其特征在于， 包括以下步 骤： (1)构建数据集； 采集眼底OCT扫 描图像， 对图像中的脉络膜新生血管进行标注， 将标注 好的图像组成数据集； (2)构建融合注意力机制的深度时空分离混合卷积神经网络， 采用二维卷积进行二维 特征提取， 然后通过二维深度卷积将二维卷积扩展到三维， 再进行三维注意力深度时空分 离卷积， 将二维卷积生成的特 征与三维卷积生成的特 征进行对齐融合； (3)使用数据集训练构建的融合注意力 机制的深度时空分离混合卷积神经网络得到混 合神经网络模型； (4)使用训练好的混合神经网络模型从眼底OCT扫描图像 中分割脉络膜新生血管图像， 得到分割结果。 2.根据权利要求1所述的基于混合卷积网络的脉络膜新生血管图像分割方法， 其特征 在于， 所述 步骤(2)中将四张连续的二维特 征图像转换成一个三维的特 征向量。 3.根据权利要求2所述的基于混合卷积网络的脉络膜新生血管图像分割方法， 其特征 在于， 所述步骤(2)中， 对得到的三 维的特征向量， 经过时间空间注 意力机制， 形成新的注 意 力图， 再进行深度时空分离卷积。 4.根据权利要求3所述的基于混合卷积网络的脉络膜新生血管图像分割方法， 其特征 在于， 所述进 行深度时空分离卷积时， 将一个三 维卷积分为两个单独的卷积， 分别为 1×Y× Z的空间卷积和一个X ×1×1的时间卷积， 则三维深度时空分离卷积D STS有： 其中， KP表示点向卷积的卷积核， 表示空间卷积 的卷积核； 表示 时间卷积 的卷积核； ∪表示将空间卷积和时间卷积的两个特征图进行拼接； F”表示经过时空注意力机制最终的注意力特 征图； r表示空洞卷积运 算。 5.根据权利要求4所述的基于混合卷积网络的脉络膜新生血管图像分割方法， 其特征 在于， 所述经 过时空注意力机制最终的注意力特 征图F”的计算过程 为： 其中， F表示输入时间注意力模 块中的输入特征图， MC(F)表示经过时间注意力模块生成 的输出特征图， F'表示输入空间注意力模块中的输入特征图， MS(F')表示经过空间注意力 模块生成的输出 特征图； 表示两个矩阵元 素相乘。 6.根据权利要求5所述的基于混合卷积网络的脉络膜新生血管图像分割方法， 其特征 在于， 三维特征向量输入时间注意力模块后进行平均池化和最大池化， 得到最大池化特征 和平均池化特征 然后采用由包含一个隐层的多层感知器组成的共享网络层接收 经过两种池化操作的特征， 最终生成通道注意力图MX∈RX×1×1， RX×1×1表示通道数为X， 长为 1， 宽为1的特征图集合， 经过共享网络层的操作后， 使用元素的总和来合并输出的特征向权　利　要　求　书 1/3 页 2 CN 115330807 A 2量,时间注意力模块中的计算公式为： 其中， σ 表示sigmiod函数， W0和W1是多层感知器MLP部 分的权重， AvgPool(F)表示对输入 特征F进行平均池化， MaxPo ol(F)表示对输入特 征F进行最大池化。 7.根据权利要求6所述的基于混合卷积网络的脉络膜新生血管图像分割方法， 其特征 在于， 三维特征向量输入空间注意力模块后进行平均池化和最大池化， 得到最大池化特征 和平均池化特征 R1×H×W表示通道数为1， 长为H， 宽为W的特征 图集合， 经过卷积层中标准卷积操作将特征耦合， 生成最 终的空间注意力图， 空间注意力模 块中的计算公式为： 其中， σ 表示sigmi od函数， f代 表卷积操作。 8.根据权利要求1所述的基于混合卷积网络的脉络膜新生血管图像分割方法， 其特征 在于， 所述步骤(2)中将二维卷积生成的特征与三维卷积生成的特征进行对齐融合具体包 括以下步骤： 计算从二维卷积网络中输出的特 征图和相关像素概 率得分： X2d＝f2d(I2d； θ2d),X2d∈R4n×256×256×64 y2d＝f2dcls(X2d； θ2dcls),y2d∈R4n×256×256×3 其中， I2d表示输入 二维卷积网络的样本； n表示输入训练样本的bat ch大小； θ2d表示二维 卷积中的像素概 率得分； 将二维卷积网络 中特征图和概率得分与三维特征图得分图进行对齐， 首先对二维卷积 特征图进行三维变换， 计算公式为： X'2d＝T(X2d),X'2d∈Rn×256×256×64 y'2d＝T(y2d),y'2d∈Rn×256×256×3 其中， T表示相邻切片组成三维数据的变换； 通过跳过连接从二维卷积网络中获取上下文特征y'2d， 三维卷积网络对二维卷积网络 会生成的概率图的上下文像素执行训练， 同时二 维卷积网络产生的概率图对三维卷积网络 的训练进行反馈， 计算公式为： X3d＝fdsts(I,y'2d； θ3d) Z＝X3d+X′2d 其中， X3d表示三维卷积网络输出特征图， Z表示二维三维混合特征图， 指二维和三维网 络中片内特 征和片间特 征的总和； θ3d表示三维卷积中的像素概 率得分。 9.根据权利要求8所述的基于混合卷积网络的脉络膜新生血管图像分割方法， 其特征 在于， 对二维三维混合特 征Z进行联合学习和优化， 计算公式为： H＝fhff(Z； θhff) yh＝fhffcls(H； θhffcls)权　利　要　求　书 2/3 页 3 CN 115330807 A 3