(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111658424.3 (22)申请日 2021.12.3 0 (71)申请人 天翼电子商务有限公司 地址 100037 北京市西城区阜成门外大街 31号4层429D (72)发明人 张帅　李慧　谢巍盛　徐小龙　 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/00(2017.01) G06K 9/62(2022.01) (54)发明名称 一种基于相似度特征图的弱监督自动诊断 和分级系统 (57)摘要 本发明公开了一种基于相似度特征图的弱 监督自动诊断和分级系统， 它涉及深度学习、 计 算机视觉、 医疗影像技术领域。 本发明中将相似 度特征图应用于脑胶质瘤的诊断和分级， 无需再 标注出大脑核磁共振成像(MRI)中的病变区域， 在较少的人工标注情况下， 通过MRI来判断患者 是否患有胶质瘤。 若患有胶质瘤再自动提取出病 变区域对其进行分类， 来判断其胶质瘤的分级。 其分析诊断的精度可以达到甚至超过国际专家 的水平， 一方面可以辅助医生做出更加准确的医 学决策， 减少了误诊或者过度诊断率， 提升患者 的治疗效果和生存率， 另 一方面， 该胶质瘤诊断 和分级系统可以节省大量人力， 同时缓解了由于 医疗资源分布不均带来的一系列诊断问题。 权利要求书1页 说明书4页 附图4页 CN 114529780 A 2022.05.24 CN 114529780 A 1.一种基于相似度特征图的弱监督自动诊断和分级系统其特征在于， 包括分类网络、 特征融合网络以及分级网络这 三个部分， 各部分具体实现如下： 所述的分类 网络:采取ResNet ‑modify模块， 通过1X1的卷积给与通道不同的权重值， 让 通道之间可以根据自适应的权 重值进行 特征组合； 所述的特征融合网络:根据分类网络得到正常人的特征图和病人的特征图进行特征融 合； 所述的分级网络:基于特征融合网络提取出的特征图x， 经过分级网络后， 输出对应的 患者分级。 2.根据权利要求1所述的一种基于相似度特征图的弱监督自动诊断和分级方法， 其特 征在于， 包括以下步骤： 病人和正常的MRI图像进 行配对， 形成1000对 数据样本， 利用分类网 络提取出每一对MRI图像的特征， 再将 每一队MRI图像的特征进 行拼接再输入到特征融合网 络进行特征融合， 融合之后再对病人进行胶质瘤分级。 3.根据权利要求1所述的一种基于相似度特征图的弱监督自动诊断和分级系统， 其特 征在于， 所述的一种基于相似度特 征图的弱监 督自动诊断和分级方法， 具体步骤如下： (1)采集1000位病人和1000张正常人大脑核磁共振成像； 此数据集要求由三名影像科 医生对其进行判别病人是否患有胶质瘤， 若患有胶质瘤的核磁共振成像还需标注出当前处 于分级， 对于有争议的图片将进 行复议； 2000张图片按照60％： 20％： 20％划分训练集、 验证 集和测试集； (2)包含数据增强和数据预处理过程， 准备的tiff格式的脑部核磁共振图片可读取三 个维度， 因为第一维度和第三维度的图片尺寸分别过大和过小， 所以选择了大小适中的第 二维度的图片用于模型训练； 神经网络的输入尺 寸为512*512， 并且在训练集上通过随机旋 转(0°， 90°， 180°， 270°)和随机翻转进行 数据增强； (3)提出了基于弱监督的自动诊断与分级的网络， 包括分类网络、 特征融合网络以及病 变分级网络； 其中网络中的分类网络是共享权重的， 其中， 分类网络中， 提出了ResNet ‑ modify的模块来自适应融合特征， 提高分类准确率； 在特征融合网络部 分， 提出了相似度特 征图的计算方式， 计算出了正常MRI图像和病人MRI图像的特征图异同， 帮助提取出并病变 区域， 并采用多操作来对特征进行融合； 在分级网络部分， 因为病变区域常常聚集在一起， 因此采用了上 下文注意力(CAB)模块 来提取出上下文的信息， 有助于提高分类准确率； (4)在模型的训练过程 中先采用2000 张MRI图像先训练好分类网络， 随后再将病人和正 常的MRI图像进行配对， 形成1000对数据样本， 再利用分类网络提取出每一对MRI图像的特 征， 随后将 每一队MRI图像的特征进 行拼接再输入到特征融合网络进 行特征融合， 融合之后 再对当前病人进行胶质瘤分级； (5)在模型预测时， 医生只需要输入当前病人的MRI， 即可利用分类网络得出病人是否 患有胶质瘤， 若患有胶质瘤， 系统会提取出分类网络主干部分的特征图， 再跟系统保存的正 常人的特 征图拼接在一 起， 进行特征融合， 再利用分级网络 输出当前患者的分级。权　利　要　求　书 1/1 页 2 CN 114529780 A 2一种基于相似度特征图的弱监督自动诊断和分级系统 技术领域 [0001]本发明涉及的是深度学习、 计算机视觉、 医疗影像技术领域， 具体涉及一种基于相 似度特征图的弱监 督自动诊断和分级系统。 背景技术 [0002]医学疾病主要依靠M RI来进行判断， 美国国家脑瘤学会报告提到， 20 17年脑瘤患者 约79270人， 生存率为34.70％， 其中有16947人被诊断出患有恶性脑肿瘤， 并因病死亡。 2016 年也提到有 77670人患有脑瘤， 生存率为34.40％。 虽然由于医疗 水平的提高， 生存率提高了 0.30％， 但患脑瘤的人数仍然增加了2％， 这说明在早期诊断肿 瘤出越来越重要。 脑胶质瘤 是最为常见的原发性颅内肿瘤， 占据颅内肿瘤的40％到50％， 5年病死率仅次于胰腺癌和肺 癌， 是神经外科中最难治的肿瘤之一。 脑胶质瘤的示 意图如图1所示。 [0003]世界卫生组织(WHO)中枢神经系统肿瘤分类将脑胶质瘤分为I ‑IV级， I、 II级为低 级别脑胶质瘤， III、 IV级为高级别脑胶质瘤， 其中I级主要以毛状星形细胞瘤为主。 II级肿 瘤多为星形细胞瘤或少突胶质瘤， 约占胶质瘤的30％ ‑40％， I级、 II级早期治疗效果的理 想。 III级是中间变性星形细胞瘤， 占脑胶质肿的15％ ‑25％。 一般从II级开始转化。 IV级是 胶质母细胞瘤， 占胶质瘤的三分之一。 III级和IV级治疗困难， 预后效果不理想。 胶质瘤各级 别的MRI如图二所示。 [0004]此外， 值得注意的是胶质瘤不仅在治疗上困难， 在确诊之前也常被神经外科医生 确诊为其他的神经科疾病， 这在一定程度上耽误了患者的最佳治疗时间。 这主要是因为在 临床环境中， 大脑核磁共振成像(MRI)通常用于诊断患者是否患有胶质瘤， 这种基于影像分 析的诊断模式完全依赖于医疗资源的分配和供给关系， 在一些医疗资源薄弱的地区， 医生 数量严重不 足， 影像诊断又依赖于人的知识以及经验， 导致分析结果可能多变且不准确。 因 此， 研发一个快速且准确的胶质瘤自动诊断和分级系统， 更有助于医生为其制 定良好的治 疗方案， 提升治愈率。 发明内容 [0005]针对现有技术上存在的不足， 本发明目的是在于提供一种基于相似度特征图的弱 监督自动诊断和分级系统， 将相似度特征图应用于脑胶质瘤的诊断和分级， 在较少的人工 标注情况下， 通过大脑核磁共振成像(MRI)来判断患者是否患有胶质瘤， 若患有胶质瘤再提 取出病变区域对其进行分类， 来判断其胶质瘤的分级。 其分析诊断的精度可以达到甚至超 过国际专家的水平， 一方面可以辅助医生做出更加 准确的医学决策， 减少 了误诊或者过度 诊断率， 提升患者的治疗效果和生存率， 另一方面， 该胶质瘤诊断和分级系统可以节省大量 人力， 同时缓解了由于医疗资源分布不均带来的一系列诊断 问题。 [0006]为了实现上述目的， 本发明是通过如下的技术方案来实现： 一种基于相似度特征 图的弱监督自动诊断和分级系统， 包括分类网络、 特征融合网络以及分级网络这三个部 分， 各部分具体实现如下：说　明　书 1/4 页 3 CN 114529780 A 3