(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210271737.1 (22)申请日 2022.03.18 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 范赐恩　李炎函　邹炼　李晓鹏　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 罗飞 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06N 20/00(2019.01)G16H 50/80(2018.01) (54)发明名称 一种基于深度学习的新冠肺炎重症检测模 型的构建方法及系统 (57)摘要 本发明提供了一种基于深度学习的新冠肺 炎重症检测模 型的构建方法及系统， 该方法构建 的模型包括： 多视角医学图像前处理模块、 多视 角医学图像互注意力模块、 多视角医学图像后处 理模块和多模态医学数据融合模块。 多视角医学 图像前处理模块用于提取多视角医学图像特征； 多视角医学图像互注意力模块用于提取多视角 特征之间的潜在相互关系， 生 成每个视角各自的 混合表征； 多视角医学图像后处理模块进一步提 取混合表征的特征； 多模态医学数据融合模块用 于基于仿射变换， 将医学图像特征与医学文本数 据进行结合。 四个模块联合进行训练， 实现对新 冠肺炎重症的检测。 该模型可以有效应用于临床 检测， 解决了当前基于深度学习算法的医学数据 视角模态单一的问题。 权利要求书3页 说明书8页 附图2页 CN 114821254 A 2022.07.29 CN 114821254 A 1.一种基于深度学习的新冠肺炎 重症检测模型的构建方法， 其特 征在于， 包括： 构建数据集， 其中， 数据集中包括多视角医学图像数据和生 化指标数据； 构建基于深度学习的新冠肺炎重症检测模型， 其中， 基于深度学习的新冠肺炎重症检 测模型包括多视角医学图像前处理模块、 多视角医学图像互注意力模块、 多视角医学图像 后处理模块、 多模态医学数据融合模块和全连接层； 多视角医学图像前处理模块用于对输 入的多视角医学图像数据进行特征提取， 获得前处理图像特征； 多视角医学图像互注意力 模块用于针对获取 的前处理图像特征， 使用注意力机制来获取二者的互注意力特征， 并将 互注意力特征与相应的前处理图像特征进行拼接， 获得混合特征； 多视角医学图像后处理 模块用于对混合特征进行进一步特征提取获得后处理图像特征； 多模态医学数据融合模块 用于根据后处理图像特征和生化指标数据获得多模态特征； 全连接层用于根据多模态特征 得到检测结果； 从构建的数据集中划分出训练集对新冠肺炎重症检测模型进行训练， 并计算损失函 数， 指导训练网络， 得到训练好的新冠肺炎 重症检测模型。 2.如权利要求1所述的基于深度学习的新冠肺炎重症检测模型的构建方法， 其特征在 于， 数据集的形式为X＝(im gL,imgR,tBIO)， 其中， 多视角医学图像数据 包括imgL和imgR， 分别 为左视角医学图像数据和右视角医学图像数据， tBIO为生化指标数据。 3.如权利要求1所述的基于深度学习的新冠肺炎重症检测模型的构建方法， 其特征在 于， 多视角医学图像前处理模块采用残差网络， 输入的多视角医学图像包括左视角医学图 像数据imgL和右视角医学图像数据imgR， 多视角医学图像前处 理模块的处 理过程包括： 针对输入的左 视角医学图像数据和 右视角医学图像数据进行特征提取， 从而获得对应 的前处理图像特 征， 包括左视角前处 理图像特 征Fpre,L和右视角前处 理图像特 征Fpre,R。 4.如权利要求1所述的基于深度学习的新冠肺炎重症检测模型的构建方法， 其特征在 于， 前处理图像特征包括左视角前处理图像特征Fpre,L和右视角前处理图像特征Fpre,R， 多视 角医学图像互注意力模块的处 理过程包括： 针对获取的前处理图像特征Fpre,L和Fpre,R， 使用注意力机制来获取二者的互注意力特 征， 包括从右到左的互注意力特 征FR2L和从左到右的互注意力特 征FL2R； 将FR2L和FL2R分别与相应的前处理特征进行通道拼接获得混合特征， 包括左混合特征 Fatt,L＝[FR2L,Fpre,L]和右混合特 征Fatt,R＝[FL2R,Fpre,R]。 5.如权利要求1所述的基于深度学习的新冠肺炎重症检测模型的构建方法， 其特征在 于， 混合特征包括左混合特征Fatt,L＝[FR2L,Fpre,L]和右混合特征Fatt,R＝[FL2R,Fpre,R]， 多视角 医学图像后处 理模块使用残差网络， 处 理过程包括： 针对获取的混合特征Fatt,L和Fatt,R， 进一步进行特征提取， 从而获得后处理图像 特征， 包 括左后处 理特征Fpost,L和右后处 理特征Fpost,R。 6.如权利要1所述的基于深度 学习的新冠肺炎重症检测模型的构建方法， 其特征在于， 后处理图像特征包括左后处理特征Fpost,L和右后处理特征Fpost,R， 多模态医学数据融合模块 的处理过程包括： 对Fpost,L和Fpost,R进行通道拼接获得拼接特 征FLR； 利用若干个卷积层对生 化指标数据tBIO进行处理获得仿射变化 参数α 和β 根据获得的放 射变换参数对拼接特 征FLR进行仿射变换获得多模态特 征Fmm。权　利　要　求　书 1/3 页 2 CN 114821254 A 27.如权利要4所述的基于深度 学习的新冠肺炎重症检测模型的构建方法， 其特征在于， 多视角医学图像互注意力模块的处 理过程具体包括： 根据前处 理图像特 征Fpre,L和Fpre,R， 首先通过卷积层计算多视角特 征的嵌入EL和ER； 计算Q、 K和V矩阵； 利用已经得到的多视角特征的嵌入， 即左特征嵌入EL和右特征嵌入 ER， Q、 K和V矩阵的计算方式为： 其中， QL、 KL和VL分别表示左Q矩阵、 左K矩阵和左 V矩阵， QR、 KR和VR分别表示右Q矩阵、 右K 矩阵和右 V矩阵， WQ,L、 WK,L、 WV,L、 WQ,R、 WK,R和WV,R为网络可 学习的参数； 计算互注意力特征， 具体包括： 利用已经得到的Q{L,R}、 K{L,R}和V{L,R}， 计算多视角特征各 自的互注意力特 征， 计算方法如式(3)和式(4)所示： 其中， FL2R和FR2L分别为从左到右和从左到右的互注意力特 征， D为EL和ER的维度； 将互注意力特征FL2R和FR2L与原始特征Fpre,L和Fpre,R进行通道拼接获得混合特征， 即左混 合特征Fatt,L＝[FR2L,Fpre,L]和右混合特 征Fatt,R＝[FL2R,Fpre,R]。 8.如权利要6所述的基于深度 学习的新冠肺炎重症检测模型的构建方法， 其特征在于， 根据获得的放 射变换参数对拼接特 征FLR进行仿射变换获得多模态特 征Fmm， 包括： Fmm＝α [Fpost,L,Fpost,R]+β            (5) 其中[·]为通道拼接操作。 9.一种基于深度学习的新冠肺炎 重症检测模型的构建系统， 其特 征在于， 包括： 数据集构建模块， 用于构建数据集， 其中， 数据集中包括多视角医学图像数据和生化指 标数据； 模型构建模块， 用于构建基于深度学习的新冠肺炎重症检测模型， 其中， 基于深度 学习 的新冠肺炎重症检测模型包括多视角医学图像前处理模块、 多视角医学图像互注意力模 块、 多视角医学图像后处理模块、 多模态医学数据融合模块和全连接层； 多视角医学图像前 处理模块用于对输入的多视角医学图像数据进行特征提取， 获得前处理图像特征； 多视角 医学图像互注意力模块用于针对获取的前 处理图像特征， 使用注意力机制来 获取二者的互 注意力特征， 并将互注意力特征与相应的前 处理图像特征进 行拼接， 获得混合特征； 多视角 医学图像后处理模块用于对混合特征进行进一步特征提取获得后处理图像特征； 多模态医 学数据融合模块用于根据后处理图像特征和生化指标数据获得多模态特征； 全连接层用于 根据多模态特 征得到检测结果；权　利　要　求　书 2/3 页 3 CN 114821254 A 3