(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210758595.1 (22)申请日 2022.06.29 (71)申请人 浙江省肿瘤医院 地址 310022 浙江省杭州市拱 墅区半山 东 路1号 (72)发明人 李林法　谢玮宜　庞伟强　易贺庆　 何林阳　龙斌　叶挺　宋金龄　 王运　靳水　施伟军　任晋忠　 吴红霞　 (74)专利代理 机构 北京天盾知识产权代理有限 公司 11421 专利代理师 丁敬博 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多模态影像数据分析方法和系统 (57)摘要 本发明涉及一种多模态影像数据分析方法 和系统， 所述方法通过基于目标的候选区域分割 来充分利用多角度的具有时序性的图像数据， 在 利用第一PET图像数据的同时和CT图像数据发生 先于神经网络模 型使用前的第一次融合。 本发明 提高了多模态分析效率； 最终能够实现高维海量 影像数据的分析、 建模、 快速分割、 精确配准和高 质量可视化， 挖掘多源信息的内在关联性， 实现 多层次信息的有效融合。 权利要求书2页 说明书7页 附图1页 CN 114913385 A 2022.08.16 CN 114913385 A 1.一种多模态影 像数据分析 方法， 其特 征在于， 包括： 步骤S1： 获取多模态影像数据； 所述多模态影像数据包括第一影像数据和第二影像数 据； 所述第一影像数据包括影像 帧集合序列； 所述影像 帧集合序列包括一个或多个按照时 间排列的影像帧集合； 一个影像帧集合对应一个时间段或一个时间点的不同角度 的影像 帧； 所述第二影 像数据包括 一个或者多个对应不同时间点的影 像帧； 步骤S2： 基于第一影像数据获取一个或者多个第一候选区域集合序列； 基于第二影像 数据获取第二 候选区域 集合； 候选区域和目标相对应； 基于第二影像数据获取一个或者多个第二候选区域； 具体为： 从所述第二影像数据中 选择一个影像 帧， 获取和所述影像 帧对应的一个或多个候选区域,其中每个候选区域和一 个目标相对应； 步骤S3： 针对每个目标TGk计算最小差值时间， 所述最小差值时间对应的第一图像数据 和第二图像数据相对于同一个目标的相对变化量最小； 将最小差值时间对应的第一候选区 域集合作为最小差值候选区域集合； 基于最小差值候选区域集合中的每个第一候选区域计 算待输入第一候选区域； 所有目标对应的待输入第一候选区域组合成待输入第一候选区域 集合； 步骤S4： 将第二图像数据中所选择的影像帧作为第二输入图像数据； 将待输入第一候 选区域集合中的每个待输入第一候选区域按照其对应目标在第二输入图像数据中的相对 位置构建成新的第一输入图像数据； 步骤S5： 将新的第一输入图像数据和第二输入图像数据输入神经网络模型中以得到分 类结果。 2.根据权利要求1所述的多模态影像数据分析方法， 其特征在于， 所述神经网络模型为 卷积神经网络模型。 3.根据权利要求2所述的多模态影像数据分析方法， 其特征在于， 所述神经网络模型为 基于U‑net的双输入通道模型。 4.根据权利要求3所述的多模态影像数据分析方法， 其特征在于， 每个通道分别用于处 理一个模态的图像数据。 5.根据权利要求4所述的多模态影像数据分析方法， 其特征在于， 所述第 一影像数据为 PET扫描数据， 第二影 像数据为CT扫描数据。 6.一种多模态影 像数据分析系统， 其特 征在于， 所述系统包 含： 获取模块： 获取多模态影像数据； 所述多模态影像数据包括第一影像数据和第二影像 数据； 所述第一影像数据包括影像 帧集合序列； 所述影像 帧集合序列包括一个或多个按照 时间排列的影像帧集合； 一个影像帧集合对应一个时间段或一个时间点的不同角度的影像 帧； 所述第二影 像数据包括 一个或者多个对应不同时间点的影 像帧； 数据处理模块： 基于第一影像数据获取一个或者多个第一候选区域集合序列； 基于第 二影像数据获取第二 候选区域 集合； 候选区域和目标相对应； 基于第二影像数据获取一个或者多个第二候选区域； 具体为： 从所述第二影像数据中 选择一个影像 帧， 获取和所述影像 帧对应的一个或多个候选区域,其中每个候选区域和一 个目标相对应； 最小差值模块： 针对每个目标TGk计算最小差值时间， 所述最小差值时间对应的第一图权　利　要　求　书 1/2 页 2 CN 114913385 A 2像数据和 第二图像数据相对于同一个目标的相对变化量最小； 将最小差值时间对应的第一 候选区域集合作为最小差值候选区域集合； 基于最小差值候选区域集合中的每个第一候选 区域计算待输入第一候选区域； 所有目标对应的待输入第一候选区域组合成待输入第一候 选区域集合； 输入确定模块： 将第二图像数据中所选择的影像帧作为第二输入图像数据； 将待输入 第一候选区域集合中的每个待输入第一候选区域按照其对应目标在第二输入图像数据中 的相对位置构建成新的第一输入图像数据； 神经网络模块： 将新的第 一输入图像数据和第 二输入图像数据输入神经网络模型中以 得到分类结果。 7.根据权利要求6所述的多模态影像数据分析系统， 其特征在于， 所述神经网络模块基 于卷积神经网络模型。 8.一种处理器， 其特征在于， 所述处理器用于运行程序， 其中， 所述程序运行时执行权 利要求1‑5中任一项所述的多模态影 像数据分析 方法。 9.一种计算机可读存储介质， 其特征在于， 包括程序， 当其在计算机上运行时， 使得计 算机执行如权利要求1 ‑5中任一项所述的多模态影 像数据分析 方法。 10.一种执行设备， 其特征在于， 包括处理器， 所述处理器和存储器耦合， 所述存储器存 储有程序指令， 当所述存储器存储的程序指令被所述处理器执行时实现如权利要求1 ‑5中 任一项所述的多模态影 像数据分析 方法。权　利　要　求　书 2/2 页 3 CN 114913385 A 3