(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210807480.7 (22)申请日 2022.07.11 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 王金凤　龚浩强　黄帅辉　郑志燊　 姜发健　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 杨望仙 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/30(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向多模态图像的脑部病灶区域定位 系统和方法 (57)摘要 本发明涉及医学图像处理领域和深度学习 领域， 为一种面向多模态图像的脑部病灶区域定 位系统和方法， 该系统包括自适应多模态patch 生长与剪枝模块、 基于双注意力机制的多模态 patch多层次融合模块和全局卷积网络分类器模 块， 通过自适应多模态patch生长与剪枝模块在 多模态图像中自适应地选择和修建patch， 来识 别具有高鉴别性的patch位置； 通过一种基于双 注意力机制的多模态patch融合模块， 来获取多 模态patch的潜在 表示形式， 结合pat ch多层次的 表示形式， 基于数据驱动的方式将其进行融合和 共同学习； 通过全局卷积网络分类器模块作为最 终分类模型， 进一步获取数据的更深层表示， 提 取更多的潜在信息。 本发明提出的系统能有效地 识别与疾病高度相关的病灶区域， 可以辅助诊 断。 权利要求书3页 说明书11页 附图2页 CN 115294029 A 2022.11.04 CN 115294029 A 1.一种面向多模态图像的脑部病灶区域定位系统， 其特 征在于， 所述系统包括: 自适应多模态patch生长与剪枝模块， 用于构 建每个受试者不同模态图像的对应关系， 将不同模态 图像划分解剖区域， 在每个解剖区域内随机生成一个固定大小的patch， 每个 patch选择子网络进行训练， 生成n个与疾病相关的patch； 自适应多模态patch生长与剪枝 模块包括patc h选择子网络， patc h选择子网络用于多模态patc h的训练； 基于双注意力机制的多模态patch多层次融合模块， 包括注意力网络和注意力 池化层， 用于通过双注 意力机制获取多模态patch的潜在特征表 示， 结合每个patch的影 响评分特征 构建多模态patch的多层次融合特征； 注 意力网络用于学习每个patch的深层次的潜在特征 表示， 对每个patch中可用于区分部 分的特征进行增强操作， 注 意力池化层用于学习来自不 同模态图像的所有patc h融合的潜在特 征； 全局卷积网络分类器模块， 用于学习多模态patch的多层次融合全局特征的深层特征 表示， 将对多模态patch的多层次融合全局特征进行扁平化， 生成多模态patch的多层次融 合全局特 征的评分。 2.根据权利要求1所述的一种面向多模态图像的脑部病灶区域定位系统， 其特征在于， 所述自适应多模态patc h生长与剪枝模块工作步骤 包括： 构建每个受试者的不同模态图像的对应关系； 将不同模态图像划分解剖区域， 在每个分解剖区域的最小立体子图内随机生成路径 点； 构建patch选择子网络， 通过patch选择子网络获取每个patch影响评分特征和诊断损 失； 使用patch选择子网络对每个patch进行训练， 根据诊断损失对生成的patch进行剪枝 和更新。 3.根据权利要求2所述的一种面向多模态图像的脑部病灶区域定位系统， 其特征在于， 所述构建每个受试者的不同模态图像的对应 关系包括： 对每个受试者的P ET图像和MRI图像 进行预处理， 将MRI图像与预设标准模板配准， 将受试者的PET 图像配准到对应的MRI图像 上， 使PET图像和MRI图像拥有一 致的空间分布。 4.根据权利要求3所述的一种面向多模态图像的脑部病灶区域定位系统， 其特征在于， 所述patch选择子网络包括4个卷积层、 2个最大池化层、 1个全连接层和最后的sigmoid函数 层， 其中， 4个卷积层的第一个卷积核大小为4 ×4×4层， 其他三个卷积核大小均为3 ×3×3 层， 4个卷积层的通道数分别为32、 64、 128和128， 所有的卷积层都是0padding且stride＝1； 最大池化层为2 ×2×2且stride＝2。 5.根据权利要求4所述的一种面向多模态图像的脑部病灶区域定位系统， 其特征在于， 所述使用patch选择子网络对每个patch进行训练， 根据诊断损失对生成的patch进行剪枝 和更新， 包括： 每个patch分别进入patch选择子网络进行训练， 获取各自的诊断损失， 保留诊断损失 较小的前n个patch， 各区域重新生成离本区域内所有已存在的点特定距离外的路径点， 重 新构造patch并进行训练， 训练结果与上一代保留的patch的诊断损失一起进行比较， 保留 诊断损失较小的前n个patch， 以此类推直到选择结束； 当一个区域内连续三代没有patch被 保留下来时， 则剪去该区域。权　利　要　求　书 1/3 页 2 CN 115294029 A 26.根据权利要求1所述的一种面向多模态图像的脑部病灶区域定位系统， 其特征在于， 所述基于双注意力机制的多模态patc h多层次融合模块工作步骤 包括： 使用注意力网络进一步处理patch块的网络， 从原始的patch中学习潜在的特征表示， 并减少特 征映射的大小； 使用注意力 池化层融合经过通道结合的多模态patch叠加特征， 生成基于多模态patch 通道融合特 征的局部空间注意感知结构表征； 连接经通道叠加的patch影响分数特征图和基于注意感知区域的全局特征图， 构建多 模态patc h的多层次融合特 征表示。 7.根据权利要求6所述的一种面向多模态图像的脑部病灶区域定位系统， 其特征在于， 述使用注意力网络进一步处理patch块的网络， 从原始的patch中学习潜在的特征表示， 并 减少特征映射的大小， 包括： 对每个patch采用了通道最大池化和通道平均池化两种不同的基于通道数的池化操 作， 生成最大值特 征图和平均值特 征图； 将最大值特征图和平均值特征图进行连接， 对连接后的特征图进行卷积操作， 输出基 于注意力的权 重特征图； 将基于注意力的权重特征图与原始特征图进行元素相乘， 并对不同通道的特征图进行 通道最大池化 生成单一 通道的patc h特征图。 8.根据权利要求6所述的一种面向多模态图像的脑部病灶区域定位系统， 其特征在于， 述使用注 意力池化层融合经过通道结合的多模态patch叠加特征， 生 成基于多模态patch通 道融合特 征的局部空间注意感知结构表征， 包括： 基于注意力网络训练得到每个patch的单通道特征图， 进行通道叠加多通道的全局特 征图； 将多通道的全局特征图Fgobal分别基于不同池化卷积操作来分别生成两个不同方面 的 特征表示； 将融合的patch特征图与之前的多通道的全局特征图进行元素相乘， 得到基于注意感 知区域的全局特 征表示。 9.根据权利要求1所述的一种面向多模态图像的脑部病灶区域定位系统， 其特征在于， 所述全局卷积网络分类器模块包括两个卷积层、 一个最大池化层， 两个全连接层和一个 sigmoid函数层， 两个卷积层分别有128和64个滤波器， 卷积层大小都为为2 ×2×2且步幅为 1， 两个全连接层的输出分别 别为32和2。 10.一种面向多模态图像的脑部病灶区域定位方法， 其特 征在于， 所述方法包括： 构建每个受试者不同模态图像的对应关系， 将不同模态图像划分解剖区域， 在每个解 剖区域内随机生 成一个固定大小的patch， 每个patch选择子网络进行训练， 生 成n个与疾病 相关的patc h； 通过双注意力机制获取多模态patch的潜在 特征表示， 结合每个patch的影响评分特征 构建多模态patch的多层次融合特征； 通过注 意力网络学习每个patch的深层次的潜在特征 表示， 对每个patch中可用于区分部 分的特征进行增强操作， 通过注 意力池化层学习来自不 同模态图像的所有patc h融合的潜在特 征； 学习多模态patch的多层次融合全局特征的深层特征表示， 将对多模态patch的多层次权　利　要　求　书 2/3 页 3 CN 115294029 A 3