(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210605716.9 (22)申请日 2022.05.31 (71)申请人 余姚市浙江大 学机器人研究中心 地址 315400 浙江省宁波市余 姚市凤山 街 道冶山路479号科创大厦12 楼 申请人 浙江大学 (72)发明人 王进　余焕　陆国栋　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 陈洁 (51)Int.Cl. G06V 20/69(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于卷积神经网络和Dbscan的病理切 片细胞高精度自动分割方法 (57)摘要 本发明属于图像处理和人工智能领域， 公开 了一种基于卷积神经网络和Dbscan的病理切片 细胞高精度自动分割方法。 该方法利用病理切片 和人工标注细胞掩码进行针对病理切片细胞特 征改进的U ‑Net卷积神经网络模型训练， 得到精 度较低的初步语义分割结果； 然后通过GrabCut 后处理模块， 补偿细胞欠分割状况， 优化分割边 缘， 得到高精度的语义分割掩码； 然后根据语义 分割结果中的切片细胞掩码像素值密度调整 Dbscan算法聚类半径和聚类密度， 使用聚类实例 划分， 得到高精度的实例分割结果。 本发明能够 对多类病理切片细胞进行高精度高效率的语义 分割和实例分割。 权利要求书2页 说明书6页 附图4页 CN 115131785 A 2022.09.30 CN 115131785 A 1.一种基于卷积神经网络和Dbscan的病理切片细胞高精度自动分割方法， 其特征在 于， 包含如下步骤： 步骤1： 病理切片图像数据集构建： 以医院活检收集制作的病理组织切片和人工标注的 细胞掩码制作病理切片数据集， 并使用随机弹性形变进行 数据增强； 步骤2： 病理切片细胞语义分割网络训练： 利用病理切片数据集进行针对病理切片细胞 特征改进的卷积神经网络模型训练， 得到精度较低的初步语义分割结果； 步骤3： 病理切片细胞语义分割后处理： 通过GrabCut后处理， 补偿欠分割图像， 优化分 割边缘， 得到高精度的语义分割掩码， 根据病理组织切片 语义分割掩码的形状特征、 像素数 量输出切片类型和面积大小； 步骤4： 病理切片细胞实例分割： 根据语义分割结果中的病理组织切片细胞掩码像素值 密度调整Dbscan算法聚类半径和聚类密度， 使用聚类实例划分， 得到高精度的实例分割结 果， 并根据实例分割掩码输出病理细胞实例类别和数量。 2.根据权利要求1所述的一种基于卷积神经网络和Dbscan的病理切片细胞高精度自动 分割方法， 其特征在于， 所述步骤1中的用于语义分割模型训练的病理切片图像数据集为 VOC格式数据集， 用于实例分割模型训练的病理切片图像数据集为C OCO格式数据集， 随机弹 性形变首先对病理切片图像进 行位移、 旋转、 缩放等仿射变换， 随后在仿射变换后的图像上 创建随机位移场， 在每个像素点上随机生 成两个(‑1， 1)之间均匀分布的随机数代表x和y方 向上的位移， 之后用高斯函数对 该随机位移场进 行卷积， 再乘以控制变形强度的比例因子， 得到增强后的图像。 3.根据权利要求1所述的一种基于卷积神经网络和Dbscan的病理切片细胞高精度自动 分割方法， 其特征在于， 所述步骤2 中， 利用U ‑Net网络作为卷积神经网络的基础架构， 利用 VGG16网络作为U ‑Net模型的主干特征提取网络， 加载其在ImageNet数据集上的预训练权 重， 损失函数类型为Focal  Loss和交叉熵损失函数的混合损失函数， Focal  Loss从样本难 易分类角度出发， 通过调整因数Pt， 降低了载玻片背景在模型训练中所占的比例， 计算公式 为： Focal Loss＝‑(1‑Pt)γlog(Pt)。 4.根据权利要求3所述的一种基于卷积神经网络和Dbscan的病理切片细胞高精度自动 分割方法， 其特征在于， 模型训练在拥有1块Intel(R)Xeon(R)CPU  E5‑2680 [email protected]   CPU和128G内存2块RTX  2080Ti GPU的电脑上完成， 模型预训练权重使用ImageNet数据集 VGG16或ResNet模型参数。 5.根据权利要求1所述的一种基于卷积神经网络和Dbscan的病理切片细胞高精度自动 分割方法， 其特征在于， 所述步骤3中， 利用Gr abCut算法作为图像后处理方法， 卷积神经网 络输出的语义分割结果作为后处理输入， 代替原GrabCut算法中人工交互指定图像的前背 景方法， 直接结合原图像构造病理切片图像的带权图， 通过能量函数 的最小化实现全局 最 优化分割， 弥补切片细胞欠分割状况， 优化分割边 缘。 6.根据权利要求5所述的一种基于卷积神经网络和Dbscan的病理切片细胞高精度自动 分割方法， 其特征在于， 所述步骤3中， 原图和经过改进U ‑Net输出的语义分割图一起输入 GrabCut后处理， 改进U ‑Net输出的语义分割图指定部分像素点的前背景属性， 进行集合分 类， 实现带权图的构造， 并根据像素点的分布规律， 构造全局能量函数， 通过学习原图的高权　利　要　求　书 1/2 页 2 CN 115131785 A 2斯混合模 型参数， 对全局能量函数进 行最小化收敛， 此过程将循环 三次， 达到最小化全局能 量函数的目的， 最后利用边界填充算法， 对图像边缘进行平滑处理， 得到更理想的分割效 果， 输出后处 理优化图像。 7.根据权利要求1所述的一种基于卷积神经网络和Dbscan的病理切片细胞高精度自动 分割方法， 其特征在于， 所述步骤4中， 利用病理切片细胞语义分割结果的像素值密度自动 生成Dbscan算法 的聚类密度和聚类半径， 对于切片密度高于15％的图像， 选取大聚类密度 和小聚类 半径； 对于切片密度低于10％的图像， 选取小聚类密度和大聚类 半径； 对于切片密 度在10％至15％之间的图像， 对图像进行四等分操作， 再重复判断各四分之一图像的切片 密度， 得出聚类密度和聚类半径值。 8.根据权利要求7所述的一种基于卷积神经网络和Dbscan的病理切片细胞高精度自动 分割方法， 其特征在于， 所述步骤4中， 在得到聚类半径和聚类密度参数后， Dbscan算法对语 义分割结果中的切片细胞掩码区域进 行扫描， 得到尚未检测过的点P， 并检测其在聚类半径 中邻域点的对 象数不少于聚类密度， 则 建立新簇C， 该点被认为是核心点， 则找出其密度可 达的所有对象点， 形成一个簇， 之后继续扫描该簇外的其他对象点， 不断形成新的簇， 实现 对病理切片细胞的实例聚类划分。权　利　要　求　书 2/2 页 3 CN 115131785 A 3