(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111648121.3 (22)申请日 2021.12.31 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 黄立勤　何甜　潘林　郑绍华　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 代理人 丘鸿超　蔡学俊 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/771(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/20(2019.01) (54)发明名称 结合深度学习与影像组学的结直肠癌图像 分类方法及系统 (57)摘要 本发明提出一种结合深度学习与影像组学 的结直肠癌图像 分类方法及系统， 针对深度学习 模型训练种小样本问题， 充分利用已有的数据进 行数据增强 （旋转， 平移、 图像变换等） 为了解决 医生手工标记 耗时耗力的问题， 引入深度学习的 自动分割网络模 型， 实现自动的从图像中标注感 兴趣区域。 针对深度学习模型提取的特征可解释 性差， 获取特征信息不够全面的问题， 采用影像 组学特征、 深度学习特征和临床病理信息三者融 合获取更多更全面的特征信息， 进一步提高影像 组学的分类准确性和可靠性。 权利要求书2页 说明书5页 附图1页 CN 114332577 A 2022.04.12 CN 114332577 A 1.一种结合深度学习与影像组学的结直肠癌图像分类方法， 其特征在于， 包括以下步 骤： 步骤S1： 数据预处理： 采用数据增 强方法， 对结直肠癌图像数据进行扩增； 使手动标记 数据对分割网络进行训练， 利用训练好的模型从图像中自动分割感兴趣区域， 以获取更多 含有标注的数据； 步骤S2： 特征提取： 通过开源的Python软件包Pyradiomics从腹部CT中提取出相关组学 特征； 采用resnet训练模型选择 结果最好的一个模型， 用这个模型去提取深度学习特 征； 步骤S3： 特征选择： 去除相关特征， 计算Pearson相关矩阵剔除高相关特征 （p>0.90)； 并 利用递归特 征消除的方法根据预测能力对剩余特 征排序； 步骤S4： 特征融合： 采用自然语言处理技术转换医生提供的临床病理信息； 将影像组学 特征、 深度学习特 征和临床病理信息三 者融合， 以获得 更加全面的特 征信息； 步骤S5： 采用集成学习， 利用包括支持向量机SVM、 贝叶斯判别器、 逻辑回归判别器和 Lasso回归的分类器， 预测时对 各分类器的分类结果进 行投票， 选出最好的模型用于执行最 终的图像分类。 2.根据权利要求1所述的结合深度学习与影像组学的结直肠癌图像分类方法， 其特征 在于： 在步骤S1中： 首先对已有的结直肠癌图像数据进行数据增强， 获取更多的腹部图像， 包括通过图像旋转， 图像平移和图像转换的方式， 将扩增 后的数据输入深度学习网络U ‑Net 进行训练， 模型训练后可用于 自动分割 出感兴趣区域， 并通过手动微调分割模型得到的病 变区域， 以此获得 更多的标注数据。 3.根据权利要求1所述的结合深度学习与影像组学的结直肠癌图像分类方法， 其特征 在于： 在步骤S3中： 特征选择首先遍历所有特征， 两两计算Pearson相关系数， 当P>0.90 时，  随机去除其中一个， 以使得降维后的特征不具有高相似度； 然后利用递归特征消除， 根据预 测能力对剩余特 征排序。 4.根据权利要求1所述的结合深度学习与影像组学的结直肠癌图像分类方法， 其特征 在于： 在步骤S4中： 临床病理信息特征选择通过逐步判别回归， 将所有 特征依次引入进 行逐 个检验； 当原引入的特征变量由于后面变量的引入而变得不再显著时， 将其剔除； 反 复进行 直到既无显著的变量选入方程， 也无不显著自变量从回归方程中剔除为止 。 5.一种结合深度学习与影像组学的结直肠癌图像分类系统， 其特征在于： 基于计算机 系统， 包括： 数据预处理模块， 采用数据增强方法， 对结直肠癌图像数据进行扩增； 使用手动标记数 据对分割网络进行训练， 利用训练好的模型从图像中自动分割感兴趣区域， 以获取更多含 有标注的数据； 特征提取模块， 通过开源的Python软件包Pyradiomics从腹部CT中提取出相关组学特 征； 采用resnet训练模型选择 结果最好的一个模型， 用这个模型去提取深度学习特 征； 特征选择模块， 用于去除相关特征， 计算Pearson相关矩阵剔除高相关特征 （p>0.90)； 并利用递归特 征消除的方法根据预测能力对剩余特 征排序； 特征融合模块， 采用自然语言处理技术转换医生提供的临床病理信息； 将影像组学特 征、 深度学习特 征和临床病理信息三 者融合， 以获得 更加全面的特 征信息； 集成学习模块， 利用包括支持 向量机SVM、 贝叶斯判别器、 逻辑回归判别器和Lasso回归权　利　要　求　书 1/2 页 2 CN 114332577 A 2的分类器， 预测时对各分类器的分类结果进行投票， 选出最好的模型用于执行最终的图像 分类。 6.根据权利要求5所述的结合深度学习与影像组学的结直肠癌图像分类方法， 其特征 在于： 在所述数据预处理模块中， 数据增强采用图像旋转， 图像平移和图像转换的方式， 并 将扩增后的数据输入深度学习网络U ‑Net进行训练。 7.根据权利要求5所述的结合深度学习与影像组学的结直肠癌图像分类方法， 其特征 在于： 在所述特征选择模块中， 首先遍历所有特征， 两两计算Pearson相关系数， 当P>0.90 时， 随机去除其中一个， 以使 得降维后的特征不具有高相似度； 然后利用递归特征消除， 根 据预测能力对剩余特 征排序。 8.根据权利要求5所述的结合深度学习与影像组学的结直肠癌图像分类方法， 其特征 在于： 在所述特征融合模块中， 对临床病理信息特征的选择处理为， 通过逐步判别回归， 将 所有特征依次引入进 行逐个检验； 当原引入的特征变量由于后面变量的引入而变得不再显 著时， 将其剔除； 反 复进行直到既无显著的变量选入方程， 也无不显著自变量从回归方程中 剔除为止 。权　利　要　求　书 2/2 页 3 CN 114332577 A 3