(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210039478.X (22)申请日 2022.01.13 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 邬小玫　万容茹　 (74)专利代理 机构 上海正旦专利代理有限公司 31200 专利代理师 陆飞　陆尤 (51)Int.Cl. A61B 5/11(2006.01) A61B 5/024(2006.01) A61B 5/00(2006.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G06K 9/62(2022.01) (54)发明名称 基于三通道图像及迁移学习的心冲击图室 颤辅助诊断系统 (57)摘要 本发明属于医疗仪器技术领域， 具体为一种 基于三通道 图像及迁移学习的心冲击图室颤辅 助诊断系统。 本发明系统包括信号预处理模块、 图像转换模块、 特征提取模块、 归一化处理模块 以及分类器； 本发明通过自定义方式， 将一维BCG 信号转换为三个单通道二维图， 而后拼接为一个 三通道图像， 以此为输入张量， 将由大型图像库 预训练得到的多个CNN模型迁移到BCG域进行学 习， 由各模 型中间层提取特征值并拼接为一维特 征向量， 而后经全连接层或机器学习分类器等实 现对室颤、 窦性心律以及运动伪迹的自动判别。 本发明可有效解决由于BCG波形多样性和小样本 量特性而导致的室颤识别困难问题， 为家庭心血 管疾病健康长期监护提供 可行方案。 权利要求书2页 说明书5页 附图2页 CN 114569116 A 2022.06.03 CN 114569116 A 1.一种基于三通道图像及迁移学习的心冲击图室颤辅助诊断系统， 其特征在于， 包括 信号预处 理模块、 图像转换模块、 特 征提取模块、 归一 化处理模块以及分类 器； 其中： 所述信号预处理模块， 用于对采集得到的BCG信号进行预处理； 具体包括， 选择母小波 Daubechie  6分解原始BCG信 号， 去除高低频噪声成分， 选取心跳相关的0.5 ‑15Hz频带部分 进行信号重建； 所述图像转换模块， 用于将信号预处理模块得到的一维BCG信号转换为三通道二维图 像， 以构建迁移学习输入张量； 具体包括， 首先获取三个单通道图像， 包括时频图、 格拉姆角 场(GAF)以及自定义的自相关序列映射图(AC M)； 其中： 时频图获取方式为： 通过短时傅里 叶变换(STFT)或连续小波变换(CWT)获取时频系数 矩阵； 而后经 过矩阵压缩变换来标准 化矩阵大小， 即得到所需单通道时频 灰度图； GAF图获取方式为： 将笛卡尔坐标系下的一维BCG信号， 转换为极坐标系表示， 再使用三 角函数生成GAF矩阵， 由此 得到所需单通道灰度图； ACM图获取方式为： 将一维BCG信号由长序列降维为短序列， 计算短序列样本的自相 关 系数序列并绝对值化， 参照张量大小， 将自相关序列值归一化到相应范围内并整 数化； 而后 以横轴表示时间维度， 纵轴表示幅值维度， 将上述处理后的自相关序列值映射为二维灰度 图； 将上述三个单通道灰度图沿通道维度拼接， 即得到 迁移学习所需的三维输入张量； 所述特征提取模块， 以图像转换模块得到的三维张量为输入， 应用迁移学习提取有效 特征； 具体包括， 由计算机视觉标准数据集I mageNet预训练VGG16、 Inc eptionV3及ResNet50 三个经典CNN网络模型， 将模型迁移到上述BCG转换所得的三维输入张量上； 分别由各模型 中间层抽取 特征图， 经变换及组合， 得到一维特 征向量； 所述归一化处理模块， 用于对上述特征提取模块提取的特征向量， 通过方差、 互信 息参 数进行分析与清洗， 并对特 征作归一 化处理， 用作后续分类 器输入； 所述分类器， 采用全连接层， 或者采用逻辑 回归、 支持向量机或随机森林等机器学习分 类器； 通过分层抽样将室颤、 窦性心律、 运动伪迹三类信号划分为训练集及测试集； 通过训 练集的交叉验证及 网格搜索法获取模型 的最佳超参数； 在此基础上， 应用整个训练集再次 训练模型， 确定分类 器模型的网络结构及参数， 并通过测试集评估最终模型的泛化 性能。 2.根据权利要求1所述的心冲击图室颤辅助诊断系统， 其特征在于， 所述三通道图像的 构建， 具体流 程为： (1)明确图像尺寸 为(N,N)， N 为大于139的自定义数值； (2)将预处 理后的一维BCG信号 转换为AC M图， 具体方式为： ①根据公式(1)， 通过经典分段聚合近似(PAA)算法将长序列数据段降维为短序列； 所 述长序列数据段以x表示， 长度为 L， 短序列以xpaa表示， 长度为 N； ②计算短序列样本xpaa的自相关系数序列， 绝对值化后归一化至[0,N ‑1]范围内， 并整 数化， 获得序列xacf； ③建立一个大小为(N,N)的全零矩阵A， 针对自相关序列中每个样本点xacf[n],n＝0 … N‑1， 按照公式(2)更新矩阵A， 将矩阵A的各数据作为单通道灰度图ACM对应像素的灰度值， 包含0、 128、 25 5三个层级；权　利　要　求　书 1/2 页 2 CN 114569116 A 2(3)将预处 理后的一维BCG信号 转换为GAF图， 具体方式为： ①通过PAA算法将长序列数据段降维为短序列， 以xpaa表示， 长度为 N； ②归一化xpaa， 将序列值压缩到[ ‑1,1]范围内， 以xnorm表示； ③根据公式(3)所示关系， 将直角坐标系下的时间序列值xnorm转换为极坐标系(r, θ )表 示， 并求取极角 θ； ④以m,n分别表示不同的时间点， 如公式(4)所示， 应用角度和的三角函数变换， 获取本 所需的GAF矩阵G， 矩阵值映射到[0,25 5]范围内即可 得到单通道灰度图； G[m][n]＝cos( θ[m ]+θ[n])， 其中m,n ＝0…N‑1，   (4) (4)将预处理后的一维BCG信号转换为时频图， 具体方式为： 通过STFT或CWT求取 时频系 数矩阵， 调整矩阵大小为(N,N)， 将矩阵值映射到[0,25 5]范围内即得 单通道灰度图； (5)按照一层ACM图加一层GAF图加一层时频图的方式或其它自定义方式， 将三个单通 道图组合为一个(N,N,3)或(3,N,N)的三维图像， 并将每一通道图像的灰度值归一化至[0, 1]范围内， 作为后续迁移学习特 征提取器的输入张量。 3.根据权利要求2所述的心冲击图室颤辅助诊断系统， 其特征在于， 所述特征提取模 块， 应用迁移学习提取有效特 征， 具体流 程为： （1） 构建三种经典CNN网络模型： VGG16、 InceptionV3及ResNet50， 通过计算机视觉标准 数据集ImageNet进行模型的预训练与调优； （2） 冻结上述模型参数， 以自定义三通道图像作归一化后所得三维张量作为网络输入， 进行迁移学习； 由各模型中间层抽取特征图， 经过全局平均池化以及拼接得到一维特征向 量。 4.根据权利要求3所述的心冲击 图室颤辅助诊断系统， 其特征在于， 所述特征清洗， 首 先以10‑8为阈值， 去除低方差特征； 而后根据互信 息值， 去除10%的低质量特征； 将保留下的 每一特征均归一 化到[0,1]范围内， 作为后续分类 器输入。 5.根据权利要求4所述的心冲击图室颤辅助诊断系统， 其特征在于， 所述分类器由全连 接层构建， 其中全连接层选用Softmax激活函数作输出层， 采用Adam算法进行模型优化， 并 以交叉熵损失函数评估 优劣。权　利　要　求　书 2/2 页 3 CN 114569116 A 3