(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210995624.6 (22)申请日 2022.08.18 (65)同一申请的已公布的文献号 申请公布号 CN 115062165 A (43)申请公布日 2022.09.16 (73)专利权人 合肥综合 性国家科 学中心人工智 能研究院 （安徽省人工智能实验 室） 地址 230094 安徽省合肥市蜀山区望江西 路5089号， 中国科学技术大学先进技 术研究院未来中心B120 5-B1208 (72)发明人 李传富　谷宗运　黄莉莉　赵海峰　 汤进　 (74)专利代理 机构 上海汉之律师事务所 31378 专利代理师 冯华 (51)Int.Cl. G06F 16/36(2019.01) G16H 15/00(2018.01) G06T 7/00(2017.01) G06T 7/70(2017.01)G06V 10/764(2022.01) (56)对比文件 CN 111933251 A,2020.1 1.13 CN 1095834 40 A,2019.04.0 5 CN 109448838 A,2019.0 3.08 CN 109559822 A,2019.04.02 CN 114494263 A,2022.05.13 CN 111048170 A,2020.04.21 CN 112785582 A,2021.0 5.11 WO 2022160676 A1,202 2.08.04 CN 111310841 A,2020.0 6.19 CN 106683081 A,2017.0 5.17 US 2021166383 A1,2021.0 6.03 CN 1095834 40 A,2019.04.0 5 CN 114582470 A,202 2.06.03 沈荣波.“基于机器学习的乳腺钼靶图像肿 块检测技 术研究”. 《中国博士学位 论文全文数据 库 医药卫 生科技辑》 .2021,E 072-440. 化盈盈等.深度学习模型 可解释性的研究进 展. 《信息安全学报》 .2020,(第0 3期), 审查员 夏容 (54)发明名称 基于读片知识图谱的医学影像诊断方法及 装置 (57)摘要 本发明属于智能医疗诊断技术领域， 具体涉 及一种基于读片知识 图谱的医学影像诊断方法 及装置， 本发 明构建一种医学影像的影像特征和 病变位置的读片知识图谱， 并通过读片知识图谱 指导， 实现通过一张图像智能化诊断所有可能疾 病； 本发明构建一种医学影像智 能化诊断框架， 在先验知识驱动下， 利用医学图像、 诊断报告、 患 者基本信息分步生成检查所见、 检查印象， 实现 智能化诊断过程合理性、 可解释性； 本发明生成 结构化检查所见， 为下游的医学影像领域人工智 能研究提供高质量数据支持。 权利要求书3页 说明书14页 附图9页 CN 115062165 B 2022.12.06 CN 115062165 B 1.一种基于读片知识图谱的医学影 像诊断方法， 其特 征在于， 包括如下步骤： 获取待诊患者的待 诊医学图像和临床信息； 采用多算法融合对所述待诊医学图像进行处理， 得到异常医学影像的病变信息， 所述 病变信息结合读片知识图谱生成结构化检查所见； 所述病变信息包括异常影像特征和/或 病变位置； 所述异常影像特征和所述病变位置被包含在预先构建的读片知识图谱中， 所述 读片知识图谱包括多种异常影像特征和多种病变位置， 各所述异常影像特征和各所述病变 位置相互关联； 所述结构化检查所 见是表示所述病变信息的词组； 根据预设的配置规则， 将所述结构化检查所见转换为规范化检查所见， 所述规范化检 查所见是包含所述病变信息的语句； 将所述临床信息与所述规范化检查所见或所述结构化检查所见输入到深度学习模型 中， 得到检查印象， 所述检查印象是至少包 含针对所述病变信息而给 出的就诊建议的语句； 对所述临床信息、 所述规范化检查所见和所述检查印象进行整合， 生成医学影像诊断 报告； 所述采用多算法融合对所述待诊医学图像进行处理， 得到异常医学影像的病变信息， 所述病变信息结合读片知识图谱生成结构化检查所 见的步骤 包括： 将所述待诊医学图像输入到 图像分类模型中， 获取第一类目标病变的异常影像特征， 所述第一类目标病变是指所述图像分类模型中预测概率的ROC曲线的AUC值在预设阈值以 内的目标病变； 将所述待诊医学图像输入到目标检测模型， 获取第 二类目标病变的异常影像特征和病 变区域信息， 所述第二类目标病变是指所述图像 分类模型中预测概率的ROC曲线的AUC值在 预设阈值以外的目标病变。 2.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法， 其特征在于， 所述采 用多算法融合对所述待诊医学图像进行处理， 得到异常医学影像的病变信息， 所述病变信 息结合读片知识图谱生成结构化检查所 见的步骤 还包括： 将所述待诊医学图像输入到图像分割 模型中， 得到所述待诊患 者身体组织的解剖学图 像； 计算代表所述第一类目标病变分布区域的热力图； 将所述第 一类目标病变分布区域的 热力图与所述待诊患者身体组织的解剖学图像叠加， 获得所述第一类目标病变的病变位 置。 3.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法， 其特征在于， 所述采 用多算法融合对所述待诊医学图像进行处理， 得到异常医学影像的病变信息， 所述病变信 息结合读片知识图谱生成结构化检查所 见的步骤 还包括： 将所述待诊医学图像输入到图像分割 模型中， 得到所述待诊患 者身体组织的解剖学图 像； 根据所述病变区域信息和所述待诊患者身体组织的解剖学图像确定所述第二类目标 病变的病变位置 。 4.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法， 其特征在于， 所述图 像分类模型采用如下 方法训练获得： 获取医学影像样本， 所述医学影像样本包括医学图像及其对应的规范化检查所见； 根权　利　要　求　书 1/3 页 2 CN 115062165 B 2据所述读片知识图谱和所述医学影像样本的规范化检查所见对所述医学影像样本进行标 注， 得到所述医学影 像样本对应的病变信息结构化标签； 利用所述医学影像样本及其对应的病变信 息结构化标签对图像分类模型进行训练， 直 至训练的平均损失值小于预设的阈值。 5.根据权利要求4所述的基于读片知识图谱的医学影像诊断方法， 其特征在于， 所述根 据所述读片知识图谱和所述医学影像样本的规范化检查所见对所述医学影像样本进行标 注， 得到所述医学影 像样本对应的病变信息结构化标签的步骤 包括： 获取已经被标注出病变信息结构化标签的医学影 像样本； 利用已经被标注出病变信息结构化标签的医学影像样本的规范化检查所见和病变信 息结构化标签对自然语言处 理模型进行训练； 将未经标注的医学影像样本的规范化检查所见输入到所述自然语言处理模型中， 获得 所述医学影 像样本的病变信息结构化标签； 建立所述医学影 像样本中所述医学图像和所述病变信息结构化标签的对应关系。 6.根据权利要求2所述的基于读片知识图谱的医学影像诊断方法， 其特征在于， 所述目 标检测模型采用如下 方法训练获得： 根据所述图像分类模型的ROC曲线的AUC值， 确定所述第二类目标病变的类型； 获取医学影像样本， 所述医学影像样本包括医学影像及其对应的结构化检查所见； 根 据所述第二类目标病变的类型在所述医学影像样本的医学图像上标注出所述第二类目标 病变的位置； 利用标注的所述医学图像对目标检测模型进行训练， 直至损失值小于预设的阈值。 7.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法， 其特征在于： 所述根 据预设的配置规则， 将所述结构化检查所 见转换为 规范化检查所 见的步骤 包括： 根据预设的读片知识图谱接口函数， 确定与所述结构化检查所见对应的所述读片知识 图谱的节点信息； 所述节点信息包括节点属性和节点之间的关系； 调用所述节点信息， 生成规范化检查所 见。 8.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法， 其特征在于， 所述深 度学习模型采用如下 方法训练获得： 获取医学影像样本， 所述医学影像样本包括规范化检查所见、 检查印象和患者临床信 息； 提取所述医学影 像样本中规范化检查所 见、 检查印象和患者临床信息的文本特 征； 将规范化检查所见和患 者临床信 息作为自然语言翻译模型的输入， 将检查印象作为所 述自然语言翻译模型 的输出， 利用所述医学影像样本的规范化检查所见、 检查印象和患者 临床信息的文本特征对所述自然语言翻译模型进 行训练， 直至训练的损失值小于预设的阈 值。 9.一种基于读片知识图谱的医学影 像诊断装置， 其特 征在于， 包括： 数据获取模块， 用于获取待 诊患者的待 诊医学图像和临床信息； 结构化检查所见生成模块， 采用多算法融合对所述待诊医学图像进行处理， 得到异常 医学影像的病变信息， 所述病变信息结合读片知识图谱生成结构化检查所 见； 所述采用多算法融合对所述待诊医学图像进行处理， 得到异常医学影像的病变信息，权　利　要　求　书 2/3 页 3 CN 115062165 B 3