(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210123985.1 (22)申请日 2022.02.10 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 王楷林　冯瑞　 (74)专利代理 机构 上海德昭知识产权代理有限 公司 31204 专利代理师 程宗德 (51)Int.Cl. G16H 50/20(2018.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/771(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) (54)发明名称 一种基于多模态融合的胰腺癌早期诊断方 法与系统 (57)摘要 本发明公开了一种基于多模态融合的胰腺 癌早期诊断方法， 具有这样的特征， 包括以下步 骤： 步骤1， 对病人的血检数据和影像数据进行预 处理， 获得血检数据特征和影像特征； 步骤2， 将 影像特征和对应的血检数据特征融合， 以双模态 融合的结果作为数据集训练分类模 型， 得到多模 态胰腺癌早期诊断模型； 步骤3， 根据病人的血检 和影像结果， 采用多模态胰腺癌早期诊断模型进 行诊断工作。 本发明诊断方法可用于胰腺癌高危 人群的早期诊断， 早期诊断模型的准确率达到了 82.21％， 大大提升早期 胰腺癌诊断准确率， 实现 胰腺癌患者的早诊早治， 提高生存率。 本发明还 公开了一种基于多模态融合的胰腺癌早期诊断 系统， 包括预处 理部和诊断部 。 权利要求书1页 说明书4页 附图3页 CN 114520052 A 2022.05.20 CN 114520052 A 1.一种基于多模态融合的胰腺癌早期诊断方法， 其特 征在于， 包括以下步骤： 步骤1， 对病人的血检数据和影 像数据进行 预处理， 获得血检数据特 征和影像特征； 步骤2， 将所述影像特征和对应的所述血检数据 特征融合， 以双模态融合的结果作为数 据集训练分类模型， 得到多模态胰腺癌早期诊断模型； 步骤3， 根据病人的血检和影像结果， 采用所述多模态胰腺癌早期诊断模型进行诊断工 作。 2.根据权利要求1所述的一种基于多模态融合的胰腺癌早期诊断方法， 其特 征在于： 其中， 步骤1包括以下步骤： 步骤1‑1， 对所述血检数据和所述影 像数据进行 数据清洗， 去掉过于多缺实值的数据； 步骤1‑2， 通过ResNet ‑50提取每位患者的所述影 像特征； 步骤1‑3， 通过OneHot  Encoder提取患者的所述血检数据特 征； 步骤1‑4， 通过PCA对所述影 像特征进行降维处 理； 步骤1‑5， 将所述影 像特征与患者对应的所述血检数据特 征进行拼接融合处 理。 3.根据权利要求2所述的一种基于多模态融合的胰腺癌早期诊断方法， 其特 征在于： 其中， 步骤1 ‑1中， 所述数据清洗时， 由于病人的所述血检数据和所述影像数据存在缺 失的问题， 故将缺失值大于 50％的数据去掉， 其 他缺失值采用众 数填充。 4.根据权利要求2所述的一种基于多模态融合的胰腺癌早期诊断方法， 其特 征在于： 其中， 步骤1 ‑3中， 通过所述OneHot  Encoder提取患者 的所述血检数据特征时， 为避免 多重共线性， 故需要删除每列编码后第一列。 5.一种基于多模态融合的胰腺癌早期诊断系统， 其特 征在于， 包括： 预处理部， 对病人的血检数据和影 像数据进行 预处理， 获得血检数据特 征和影像特征； 诊断部， 将所述影像特征和对应的所述血检数据特征融合， 以双模态融合的结果作为 数据集训练分类模型， 得到多模态胰腺癌早期诊断模型， 根据病人的血检和影像结果， 采用 所述多模态胰腺癌早期诊断模型进行诊断工作。权　利　要　求　书 1/1 页 2 CN 114520052 A 2一种基于多模 态融合的胰 腺癌早期诊断方 法与系统 技术领域 [0001]本发明涉及计算机视觉领域以及医学领域， 具体涉及一种基于多模态融合的胰腺 癌早期诊断方法与系统。 背景技术 [0002]胰腺癌是实体肿瘤中恶性程度和致死率最高的肿瘤之一， 被称为 “癌中之王 ”。 中 国国家癌症中心的最新统计数据也证实， 胰腺癌在中国城市的男性恶性肿瘤发病率中排名 第八， 在大城市(北京和上海)的恶性肿瘤死亡率中排名第六。 胰腺癌五年生存率仅为6％。 2018年全球内有近45万胰腺癌新发病例， 死亡超 过43万例， 预计2030年， 胰腺癌将成为全球 癌症死亡的第二大原因。 其高死亡率归因于早期症状不明显、 缺乏有效的诊断方法、 病程进 展迅速等。 虽然近年来研究者为改善胰腺癌患者的预后做出了很多努力， 如研究胰腺癌 发 生发展的机制、 探索各种早期诊断， 但其高死亡率并未得到明显改善。 不断上升的发病率和 持续的低生存率凸显 了确定高风险患者筛查方法的必要性。 [0003]胰腺癌的早期诊断是降低其高死亡率的最佳途径 之一， 对胰腺癌发病风险较高 的 个体进行早期诊断才具有成本效益。 [0004]将从血液、 尿液、 唾液、 粪便或胰液中获得的生物标志物作为胰腺癌早期诊断的非 侵入性分子标志物， 以辅助筛查、 早期诊断和治疗胰腺癌， 一直是一个值得深入研究的领 域。 目前糖 类抗原19 ‑9(CA19‑9)是使用最 为广泛的早期检测生物标志 物。 [0005]胰腺癌早期诊断一直是一个重大挑战。 胰腺癌的诊断主要依赖于影像学检查， 计 算机断层扫 描(computed  tomography， CT)和磁共振成像(Magnetic  Resonance Imaging， MRI)是最常用的影像学技术。 可以用于判断胰腺癌的癌变部位以及癌变性质、 病变分期等。 影像学检查， 作为一种 无创性的诊断方法， 通过显示病变的形态,大小及强化状态， 帮助医 生做出临床诊断。 另外， 肿瘤治疗反应标准(response  evaluation  criteria  in solid  tumors， RE CIST)也根据病变 体积变化， 来评估 胰腺癌的治疗 疗效。 [0006]影像学在胰腺癌的诊断、 术前评估、 疗效评估及预后预测等方面发挥了重要作用。 随着人工智能和医学影像技术的发展， 胰 腺癌的早期诊断水平随着 研究的深入不断得到提 升， 有望在将来真正应用于临床实 践。 发明内容 [0007]本发明是为了解决上述问题而进行的， 目的在于提供一种基于多模态融合的胰腺 癌早期诊断方法与系统。 [0008]本发明提供了一种基于多模态融合的胰腺癌早期诊断方法， 具有这样的特征， 包 括以下步骤： 步骤1， 对病人 的血检数据和影像数据进行预处理， 获得血检数据特征和 影像 特征； 步骤2， 将影像特征和对应的血检数据特征融合， 以双模态融合的结果作为数据集训 练分类模型， 得到多模态胰腺癌早期诊断模型； 步骤3， 根据病人的血检和影像结果， 采用多 模态胰腺癌早期诊断模型进行诊断工作。说　明　书 1/4 页 3 CN 114520052 A 3