(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210471036.2 (22)申请日 2022.04.28 (71)申请人 安徽大学 地址 230601 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 黄炜　王华彬　陈永麟　张梦欣　 韩先君　李学俊　 (74)专利代理 机构 合肥市泽信专利代理事务所 (普通合伙) 3414 4 专利代理师 潘飞 (51)Int.Cl. G16H 50/20(2018.01) G16H 50/30(2018.01) G06V 10/764(2022.01) G06T 7/00(2017.01)G06N 3/04(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) A61B 5/00(2006.01) A61B 6/00(2006.01) (54)发明名称 一种基于多特征融合的AD早期预测方法、 系 统、 装置 (57)摘要 本发明属于医学影像处理领域， 具体涉及一 种基于多特征融合的AD早期预测方法、 系统、 装 置。 本发明针对基于Brain  18F‑FDG PET切片图 像的预测AD的复杂问题， 重新设计了一个新的包 含双卷积的骨干网络和分类网络的神经影像预 测模型； 并在网络模型中引入多注意力模块。 在 数据集采集过程中， 以滤波、 裁剪等方式代替传 统扩增方法扩增PET切片， 提高网络模型的泛化 特性。 在网络模型的训练阶段， 将模糊标签并运 用到监督对比学习损失中， 在预测阶段还结合分 类结果和临床精神心理评估结果进行联合分析， 得到最可靠的预测结论。 本发明解决了现有图像 处理方法在针对Brain  18F‑FDG PET影像进行AD 预测时， 存在的鲁棒性低、 差裕度差和识别率低 等问题。 权利要求书4页 说明书16页 附图10页 CN 114999629 A 2022.09.02 CN 114999629 A 1.一种基于多特征融合的AD早期预测方法， 其用于根据检测对象的三维脑部PET影像 和临床神经心理学量表评估结果对检测对象是否罹患AD进行预测； 其特征在于， 所述AD早 期预测方法包括包括如下步骤： S1： 构建包括骨干网络和分类网络的神经影像预测模型； 所述骨干网络用于对输入的 样本图像进 行特征识别， 进而输出一个512维的表征向量； 所述分类网络用于根据输入的所 述表征向量对不同检测对象完成分类， 进 而输出一个相应的分类结果； 所述骨干网络包括并联的第 一子网络和第 二子网络， 每个子网络均包括依次首尾连接 的卷积层、 混合注意力模块、 最大池化层和8个残差单元； 两个子网络的输出加权融合后作 为骨干网络的输出； 所述分类网络采用一个非线性多层感知器将所述骨干网络输出的所述 表征向量映射 为所需的分类结果； 其中， 所述混合注意力模块的处理过程如下： 对输入的原始特征向量F分别进行平均池 化和最大池化； 将两个池化结果分别送入到一个两层的感知模块中， 感知模块处理得到的 两个特征输出相加后， 再经过一个Sigmoid激活函 数得到权重系数MC； 接下来， 将权重系数MC 和特征向量F相乘得到中间特征向量F ’； 中间特征向量F ’经过一个通道维度的平均池化和 最大池化后得到两个通道向量， 将两个通道向量进行拼接， 拼接结果再经过一个7 ×7的卷 积层和一个Sigmoid激活函 数后， 得到权重系数Ms； 最后， 将权重系数Ms和中间特征F ’相乘得 到经过混合注意力模块处 理的特征向量； S2： 获取若干不同症状的检测对象的三维脑部PET影像， 将每个三维脑部PET影像预处 理为包含多个二 维切片图像的序列图像； 根据检测对象的病症类型为序列图像中的每张二 维切片图像人工添加标签； 进 而构成所需的训练集； S3： 利用所述训练集对所述神经影像预测模型进行两阶段训练， 依次确定骨干网络和 分类网络的权 重； 训练过程包括如下步骤： S31： 选取训练集中的部分图像作为样本图像， 对样本图像进行模糊标签处理， 更新每 张样本图像的标签； S32： 在分类网络的非线性多层感知器后增加一个归一化处理模块l2； 所述归一化处理 模块用于学习不同类别间的张量， 并以所述张量的乘积作为区分不同类别的特 征； S33： 采用监督对比损失函数LSC作为损失函数， 通过便签更新后的样本图像对神经影像 预测模型进行第一阶段训练， 并保存训练结束后骨干网络的权 重； S34： 以训练集中的剩余图像作为样本图像， 设置损失函数为交叉熵损失函数LCE； 对神 经影像预测模型进行第二阶段训练， 并保存训练结束后分类网络的权重； 进而得到完成训 练的神经影 像预测模型； S4： 获取待处理的检测对象的三维脑部PET影像和临床神经心理学量表评估结果， 并将 所述三维脑部PET影像预 处理为包含多张二 维切片图像的序列图像； 其中， 所述临床神经心 理学量表评估结果包括轻度精神状态评分值M MSEscore和临床痴呆程度评分值CDRscore； S5： 将所述序列图像依次输入到完成训练的神经影像预测模型中， 得到各个切片图像 的分类结果PETcn ni； S6： 通过相关性分析计算序列图像中各个切片图像的分类 结果PETcnni的相关度R， 并以 相关度R作为比例参数λ， 结合临床神经心理学量表评估结果， 通过下式计算出检测对象是 否罹患AD的预测值CDscore：权　利　要　求　书 1/4 页 2 CN 114999629 A 2上式中， avg()表示求平均值函数； i表示各个序列图像的图像编号； k表示检测对象的 三维脑部PET影 像处理得到的二维切片图像的数量。 2.如权利要求1所述的基于多特征融合的AD早期预测方法， 其特征在于： 步骤S1中， 骨 干网络内第一子网络使用卷积核为7*7的卷积层； 第二子网络使用卷积核为5 *5的卷积层。 3.如权利要求2所述的基于多特征融合的AD早期预测方法， 其特征在于： 步骤S1中， 所 述混合注意力模块的处 理公式如下： 上式中， 其中， σ表示sigmoid函数； F表示输入的原始特征向量， MLP表示两层的感知模块， AvgPool表示平均池化模块， MaxPool表示最大池化模块； f表示卷积模块， 其上的角标为卷 积模块的卷积核尺 寸； Mc(F)表示经过权重系数MC处理的中间特征向量； Ms(F)表示混合注意 力模块最终输出的特 征向量。 4.如权利要求1所述的基于多特征融合的AD早期预测方法， 其特征在于： 步骤S2和S4， 将三维的脑部PET影 像预处理为多个二维切片图像的预处 理方法包括如下步骤： (1)通过统计参数映射工具SPM12将PET  3D影像数据归一化为一个符合国际大脑映射 联盟标准的数据模板； (2)对上步骤的数据模板依次进行平均化处理、 空间对齐、 差值运算和强度归一化处 理， 并使得处理后的各个数据模板的图像尺寸统一为79 ×95×79， 经过处理之外的其余参 数设置为各个数据模板的默认值； (3)对上步骤处理后的各个数据模板采用Python中的图像数据预处理库进行处理， 进 而将每个三维PET图像切片成为统一尺寸的二维切片图像； 每张二维切片图像的像素尺寸 为95×79； 最后将每 个三维PET图像对应的二维切片图像平铺成一个序列图像。 5.如权利要求1所述的基于多特征融合的AD早期预测方法， 其特征在于： 步骤2中， 训练 集中的数据包括根据真实的三维脑部PET影像预处理得到的多个二维切片图像， 还包括通 过对所述 二维切片图像进行 滤波和/或裁 剪得到扩充数据。 6.如权利要求1所述的基于多特 征融合的AD早期预测方法， 其特 征在于： 步骤S33中， 监督对比损失函数LSC的计算公式如下： 上式中， 其中， 表示无监督对比损失； N表 示样本数； Zi表示第i个正样本张量； Zk表示第k个正权　利　要　求　书 2/4 页 3 CN 114999629 A 3