(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211233630.4 (22)申请日 2022.10.10 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 戴大伟　杨倩兰　王煜淇　徐涛　 夏书银　王国胤　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王诗思 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) (54)发明名称 一种可解释的癌症病理切片图像识别方法、 装置及计算机设备 (57)摘要 本发明属于医学图像处理领域， 涉及一种可 解释的癌症病理切片图像识别方法、 装置及计算 机设备； 所述方法包括获取癌症病理切片的高分 辨率医学图像， 并处理成图像块； 将图像块输入 特征提取网络中， 提取出特征向量； 将第一图像 块的特征向量输入到图像识别网络中进行预训 练； 将第二图像块的特征向量输入到预训练后的 图像识别网络中， 输出第一可解释热力图； 利用 稀疏表示方法优化， 并对优化后的第一可解释热 力图进行判断； 按照判断结果重新训练图像识别 网络； 将第三图像块的特征向量输入到重新训练 后的图像识别网络中， 输出第二可解释热力图。 本发明使得高分辨率图像能够在模型中进行预 测并提供专业的可解释结果， 实现了数据与医学 领域知识的双向交 互。 权利要求书2页 说明书8页 附图2页 CN 115424081 A 2022.12.02 CN 115424081 A 1.一种可解释的癌症病理切片图像识别方法， 其特 征在于， 所述方法包括： 获取癌症病理切片的高分辨 率医学图像， 对其进行 预处理划分为统一尺寸的图像块； 将所述图像块输入到预训练的特 征提取网络中， 提取 出每个图像块的特 征向量； 将第一图像块的特征向量输入到预设的图像识别网络 中， 预训练所述预设的图像识别 网络； 将第二图像块的特征向量输入到预训练后的图像识别网络中， 输出第一可解释热力 图； 利用稀疏表示方法优化第一可解释热力图， 并对优化后的第一可解释热力图进行判 断； 将判断为错误的第 一可解释热力图的错误部分替换为反例， 重新训练所述图像识别网 络； 或者， 将判断错误的第一可解释热力图的错误部分提供掩码， 利用第二损 失函数修正 错误的可解释热力图， 重新训练所述图像识别网络； 将第三图像块的特征向量输入到重新训练后的图像识别网络 中， 输出第 二可解释热力 图。 2.根据权利要求1所述的一种可解释的癌症病理切片图像识别方法， 其特征在于， 对癌 症病理切片的高分辨率医学图像进行预处理包括根据图像分割算法， 将癌症肿瘤分割为所 需尺寸的多个图像块， 将分割 结果保存至文件， 其文件内容为分割 结果在高分辨率医学图 像中的坐标。 3.根据权利要求1所述的一种可解释的癌症病理切片图像识别方法， 其特征在于， 所述 利用稀疏表示方法优化第一可解释热力图包括对第一可解释热力图的解释区域进行稀疏 表示， 计算出第二图像块的注 意力分数， 提高注 意力高的对应解释区域的分数， 降低注意力 低的对应解释区域的分数； 优化第一可解释热力图的解释区域。 4.根据权利要求1或3所述的一种可解释的癌症病理切片图像识别方法， 其特征在于， 稀疏表示方法优化第一可解释热力图所采用的第一损失函数表示 为： 其中， L(X)表示第一损失函数， X表示当前癌症病理切片中所有图像块的分数， N表示当 前癌症病理切片中图像块个数， xn表示第n个图像块的分数， 则表示当前癌症病理切片中 所有图像块的分数的均值， 表示第一可解释热力图整体的初始分数均值。 5.根据权利要求1所述的一种可解释的癌症病理切片图像识别方法， 其特征在于， 将判 断为错误的第一可解释热力图的错误部 分替换为反例， 重新训练所述图像识别网络包括将 第一可解释热力图的错误部分对应的图像块的特征向量取0或者取反例， 再将该图像块所 属的癌症肿瘤数据送入图像识别网络进行训练， 从而修改图像识别网络的可解释方向。 6.根据权利要求1所述的一种可解释的癌症病理切片图像识别方法， 其特征在于， 将判 断错误的第一可解释热力图的错误部分提供掩码， 利用第二损失函数修正错误的可解释热 力图， 重新训练所述图像识别网络包括将第一可解释热力图的错误部 分对应的图像块设置权　利　要　求　书 1/2 页 2 CN 115424081 A 2掩码， 再将该图像块所属的癌症肿瘤数据送入图像识别网络进行训练， 利用第二损失函数 优化所述图像识别网络， 从而修改图像识别网络的可解释方向。 7.根据权利要求1或6所述的一种可解释的癌症病理切片图像识别方法， 其特征在于， 所述第二损失函数表示 为： 其中， L( θ,F,y,A)表示第二损失函数， θ是网络参数， F是输入特征向量， y是真实标签 值， A是掩码矩阵， N表示当前癌症病理切片中图像块个数， K表示标签类别 数， D表示输入特 征向量的维度， ynk表示第n个图像块第k个标签真实值， 表示第n个图像块第k个 标签预测 值， And表示第n个图像块的第d维掩码， fnd表示第n个图像块的第d维输入 特征向量， λ1和 λ2是 正则化因子； θi表示第i层网络参数。 8.一种可解释的癌症病理切片图像识别装置， 其用于实现如权利要求1～7任一所述的 一种可解释的癌症病理切片图像识别方法， 其特 征在于， 所述装置包括： 图像采集模块， 用于获取癌症病理切片的高分辨 率医学图像； 图像处理模块， 用于将 获取的癌症病理切片的高分辨率医学图像进行预处理并划分为 统一尺寸的图像块； 特征提取模块， 用于将所述图像块输入到预训练的特征提取网络中， 提取出每个图像 块的特征向量； 预训练模块， 用于将第一图像块的特征向量输入到预设的图像识别网络中， 预训练所 述预设的图像识别网络； 图像优化模块， 用于将第二图像块的特征向量输入到预训练后的图像识别网络中， 输 出第一可解释热力图， 利用稀疏表示方法优化第一可解释热力图， 并对优化后的第一可解 释热力图进行判断； 重训练模块， 用于将判断为错误的第一可解释热力图的错误部分替换为反例， 重新训 练所述图像识别网络； 或者， 将判断错误的第一可解释热力图的错误部 分提供掩码， 利用第 二损失函数修 正错误的可解释热力图， 重新训练所述图像识别网络； 图像识别模块， 用于将第三图像块的特征向量输入到重新训练后的图像识别网络中， 输出第二可解释热力图。 9.根据权利要求8所述的一种可解释的癌症病理切片图像识别装置， 其特征在于， 所述 装置还包括： 交互学习模块， 用于对优化后的第一可解释热力图进行判断， 判断所述第一可解释热 力图对应的识别预测结果是否正确， 以及解释区域是否正确。 10.一种计算机设备， 其特征在于， 所述计算机设备包括处理器和存储器， 所述存储器 中存储有至少一条计算机程序， 所述至少一条计算机程序由所述处理器加载并执行， 以实 现如权利要求1～7任一所述的识别方法中所 执行的操作。权　利　要　求　书 2/2 页 3 CN 115424081 A 3