(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675359.5 (22)申请日 2021.12.31 (71)申请人 广东省人民医院 地址 510080 广东省广州市越秀区中山 二 路106号 (72)发明人 刘再毅　潘细朋　王志臻　陈浩　 许睿　梁长虹　刘振丙　陈鑫　 韩楚　颜黎栩　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/136(2017.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 非小细胞肺癌H＆E染色图像多种组织分割 方法、 系统及存 储介质 (57)摘要 本发明公开了一种非小细胞肺癌H&E染色图 像多种组织分割方法、 系统及存储介质， 方法包 括下述步骤： 组织类型分类， 确定非小细胞肺癌 H&E染色数字病理图像中组织类型的分布状况； 组织类型上色， 根据非小细胞肺癌H&E染色数字 病理图像中不同组织类型的分布状况， 为不同组 织类型的像素区域上色， 以区分不同组织类型， 并突出不同组织类型的视觉表达； 病理WSI多种 组织分割， 根据非小细胞肺癌H&E染色数字病理 图像中组织类型的分布状况， 将已上色的组织类 型的像素区域整合在一起， 实现组织区域定位， 完成组织分割。 本发明可实现自动地完成非小细 胞肺癌H&E染色图像多种组织分类与病理WSI分 割。 权利要求书2页 说明书8页 附图4页 CN 114494288 A 2022.05.13 CN 114494288 A 1.非小细胞肺癌H &E染色图像多种组织分割方法， 其特 征在于， 包括下述 步骤 组织类型分类， 确定非小细胞肺癌H&E染色数字病理图像 中组织类型的分布状况， 组织 类型分为： 肿瘤上皮、 肿瘤间质、 背 景区域、 淋巴细胞、 正常组织、 支气管、 血管、 坏死区域、 黑 色碳尘区域和其 他； 组织类型上色， 根据非小细胞肺癌H&E染色数字病理图像 中不同组织类型的分布状况， 为不同组织类型的像素区域上色， 以区分不同组织类型， 并突出不同组织类型的视 觉表达； 病理WSI多种组织分割， 根据非小细胞肺癌H&E染色数字病理图像 中组织类型的分布状 况， 将已上色的组织类型的像素区域整合在一 起， 实现组织区域定位， 完成组织分割。 2.根据权利要求1所述的非小细胞肺癌H&E染色图像多种组织分割方法， 其特征在于， 所述组织类型分类的步骤具体为： 划分子图像块， 对病理WSI采用阈值分割和高斯模糊技术， 生成组织掩码， 所述组织掩 码为高分辨率病理图像的组织区域掩码， 过滤掉背景区域， 只保留组织区域， 根据组织区 域， 采用含有重 叠区域的滑动窗口， 将组织区域内的图像分为若干RGB子图像块； 子图像块识别， 采用预先训练好的双线性卷积模型， 对RGB子图像块进行识别， 所述双 线性卷积模 型包括ResNet50、 双线性池化层和注意力机制层， 所述ResNet50用于从H&E染色 数字病理图像中提取出端到端 特征， 将最后一层卷积层提取的深度学习特征输入到双线性 池化层， 所述双线性池化层收到深度学习 特征后， 捕获非小细胞肺癌组织类型 的细粒度特 征， 提取H&E染色数字病理图像的高度局部特征； 所述注意力机制层收到从双 线性池化层中 提取出的细粒度特征后， 提取出特征赋予注意力权重， 从而让模型将学习的重点放到更关 键的特征上， 聚焦到更 具有区分度的局部特 征， 提高模型对组织类型的识别能力。 3.根据权利要求2所述的非小细胞肺癌H&E染色图像多种组织分割方法， 其特征在于， 所述双线性池化层是一种双线性结构， 线性结构具体为： y＝b+wTx y是模型的输出,b是偏置项,w∈Rn是对应的转置 权重矩阵， n是输入特 征的维度； 双线性池化层为： y＝b+wTx+xTFTFx F∈Rk×n是含有 因素的权 重矩阵。 4.根据权利要求2所述的非小细胞肺癌H&E染色图像多种组织分割方法， 其特征在于， 所述注意力机制层具体为： ei＝wfi c是被赋予注意力权 重的特征， ai为注意力权 重， ei为注意力分数， w是 可学习的参数。 5.根据权利要求2所述的非小细胞肺癌H&E染色图像多种组织分割方法， 其特征在于， 所述双线性卷积模型通过 下述方式进行 预训练： 在用于训练的非小细胞肺癌H&E染色数字病理图像上标注出10类不同类型的组织类 型， 分别是肿瘤上皮、 肿瘤间质、 背 景区域、 淋巴细胞、 正常组织、 支气管、 血管、 坏死区域、 黑权　利　要　求　书 1/2 页 2 CN 114494288 A 2色碳尘区域和其他， 然后在放大M倍下从每一类组织标注区域中取若干 设定大小的图像块， 再使用双线性插值缩放到设定大小作为训练样本， 最后用训练样本对预训练的双线性卷积 模型进行训练； 所述预训练过程， 用于为双线性卷积模型赋予初始参数， 用已公开的多种组织数据集 做预训练， 来提高模型在非小细胞肺癌多种组织数据集上的效果， 使用ResNet50在结直肠 癌多种组织数据集上进行预训练， 将预训练的参数迁移到非小细胞肺癌多种组织分类模型 上， 用作参数初始化， 不冻结卷积层， 进行重新训练， 从而提高模型在非小细胞肺癌多种组 织数据集上的泛化能力和训练效率。 6.根据权利要求1所述的非小细胞肺癌H&E染色图像多种组织分割方法， 其特征在于， 所述组织类型 上色的步骤具体为： 根据组织类型存在于肿瘤上皮、 肿瘤间质、 背景区域、 淋巴细胞、 正常组织、 支气管、 血 管、 坏死区域、 黑色碳尘区域和其他区域， 把待识别组织类型的子图像块进行十分类， 把存 在于肿瘤上皮区域、 肿瘤间质区域、 背景区域、 淋巴细胞区域、 正常组织区域、 支气管区域、 血管区域、 坏死区域、 黑色碳尘污染区域和其他区域的组织分别用红色， 橙色， 白色， 深蓝 色， 绿色， 黄色， 紫色， 黑色， 棕色， 淡 蓝色表示。 7.根据权利要求6所述的非小细胞肺癌H&E染色图像多种组织分割方法， 其特征在于， 所述病理WSI多种组织分割的步骤具体为： 误差消除， 消除子图像块重 叠区域染色冲突的影响； 组织区域汇总， 将红色的肿瘤上皮区域， 橙色的肿瘤间质区域， 白色的背景区域， 深蓝 色的淋巴细胞区域， 绿色的正常组织区域， 黄色的支气管区域， 紫色的血管区域， 黑色的坏 死区域和棕色的黑色碳尘污染区域， 按照空间坐标关系， 映射到子图像块划分模块中得到 的组织掩码上。 8.根据权利要求5所述的非小细胞肺癌H&E染色图像多种组织分割方法， 其特征在于， 用滑动窗口在已选取的范围内进 行遍历， 将遍历出的每个子图像块输入到训练好的双线性 卷积模型， 生成预测概 率， 选取预测概率最大的组织类型为该图像块的组织类型。 9.非小细胞肺癌H&E染色图像多种组织分割系统， 其特征在于， 应用于权利要求1 ‑8中 任一项所述的非小细胞肺癌H&E染色图像多种组织分割方法， 包括组织类型分类模块、 组织 类型上色模块和病理WSI多种组织分割模块； 所述组织类型分类模块， 用于确定非小细胞肺癌H&E染色数字病理图像中组织类型的 分布状况， 组织类型分为： 肿 瘤上皮、 肿瘤间质 、 背景区域、 淋巴细胞、 正常组织、 支气管、 血 管、 坏死区域、 黑色碳尘区域和其 他； 所述组织类型上色模块， 用于根据非小细胞肺癌H&E染色数字病理图像中不同组织类 型的分布状况， 为不同组织类型的像素区域上色， 以区分不同组织类型， 并突出不同组织类 型的视觉表达； 所述病理WSI多种组织分割模块， 用于根据非小细胞肺癌H&E染色数字病理图像中组织 类型的分布状况， 将已上色的组织类型的像素区域整合在一起， 实现组织区域定位， 完成组 织分割。 10.一种计算机可读存储介质， 存储有程序， 其特征在于， 所述程序被处理器执行时， 实 现权利要求1 ‑8任一项所述的非小细胞肺癌H &E染色图像多种组织分割方法。权　利　要　求　书 2/2 页 3 CN 114494288 A 3