(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211299396.5 (22)申请日 2022.10.24 (71)申请人 睿瞳 （杭州） 科技发展 有限公司 地址 310003 浙江省杭州市上城区土山 一 弄2号202室 (72)发明人 孙彪　郝晓倩　沈瑜　 (74)专利代理 机构 天津企兴智财知识产权代理 有限公司 12 226 专利代理师 刘影 (51)Int.Cl. G06K 9/00(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 5/00(2006.01) A61B 5/372(2021.01) (54)发明名称 多模态配准和时空特征注意的动静结合速 度想象分类方法 (57)摘要 本发明提供了多模态配准和时空特征注意 的动静结合速度想象分类方法， 步骤如下： 进行 肢体动作的速度想象， 同步采 集EEG信号和fNIRS 信号； 对信号进行预处理； 采用模态间相关信息 配准算法， 设计相关性配准矩阵对两种信号时空 矩阵进行配准， 获得配准数据； 卷积神经网络结 合注意力机制的双流时空特征建立提取及注意 模型， 配准数据输入卷积神经网络获得局部时间 特征和局部空间特征， 经自注意力机制运算分别 得到全局时间特征矩阵和全局空间特征矩阵； 输 入到由卷积模块、 全 连接层以及归一化指数函数 构成的分类器中进行分类。 本发 明所述的多模态 配准和时空特征注意的动静结合速度想象分类 方法， 对探索大脑中连续神经意图解码和推进 脑‑机接口应用具有重要意 义。 权利要求书3页 说明书8页 附图2页 CN 115374831 A 2022.11.22 CN 115374831 A 1.多模态配准和时空特征注意的动静结合速度想象分类方法， 其特征在于： 具体步骤 如下： S1、 进行肢体动作的速度想象， 同步采集产生的脑电图EEG信号和功能性近红外光谱 fNIRS信号； S2、 对EEG信号和fN IRS信号分别进行 预处理； S3、 采用模态间相关信息配准算法， 设计相关性配准矩阵对EEG信号和fNIRS信号时空 矩阵进行配准， 获得配准数据； S4、 卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型， 配准数据输 入卷积神经网络获得局部时间特征 和局部空间特征 ， 和 经过自注意力 机制运算分别得到全局时间特 征矩阵 和全局空间特 征矩阵 ； S5、 和 输入到由卷积模块、 全连接层以及归一化指数函数构成的分类器中进 行分类。 2.根据权利要求1所述的多模态配准和时空特征注意的动静结合速度想象分类方法， 其特征在于： 步骤S1中， 进行肢体动作的速度想 象， 同步采集产生的脑电图EEG信号和功能 性近红外光谱fN IRS信号， 具体方法如下： EEG信号采集34个通道， 所述34个通道数据采集位置包括左右眼HEO， 左眼上下眼VEO， 左耳M1、 右耳M2， 采样频率 为1000Hz； fNIRS信号采集20个通道， 所述20个通道数据采集位置包括左右脑区的感觉运动区和 辅助运动区， 采样频率为100Hz； 进行15个连续时间段的速度想 象数据采集， 每个时间段进 行60次左手速度想象， 所述60 次左手速度想象包括0Hz、 0.5Hz、 1Hz左手握拳速度想象各20 次， 获得90 0次速度想象的E EG信号和90 0次速度想象的fN IRS信号。 3.根据权利要求1所述的多模态配准和时空特征注意的动静结合速度想象分类方法， 其特征在于： 步骤S2中， 对E EG信号和fN IRS信号分别进行 预处理， 具体方法如下： S21、 EEG信号预处理步骤包括工频陷波、 基线校准、 剔除伪迹和坏段、 滤波分段以及降 采样； S22、 fNIRS信号预处理步骤包括采用中值滤波以及带通滤波去除伪迹的干扰， 所述伪 迹包括呼吸、 心跳； 利用修正朗伯比尔定律计算由不同频率速度想象引起的血氧浓度变化 值； S23、 设置两种信号预处理后的数据尺寸均 为N×C×S， 其中N代表样本数量， C代表通道 数，S代表时间采样点。 4.根据权利要求3所述的多模态配准和时空特征注意的动静结合速度想象分类方法， 其特征在于： 步骤S 3中， 采用模态间相关信息配准算法， 设计相关性配准矩阵对EEG和fNI RS 信号进行配准， 获得配准数据， 具体方法： S31、 对预处理后的EEG信号和fNIRS信号分别进行归一化处理 以消除不 同模态特性的 影响， 计算方式如下：权　利　要　求　书 1/3 页 2 CN 115374831 A 2（1） 其中，X表示预处 理后的EEG信号经 过归一化处理后的数据； Y表示预处 理后的fN IRS信号经 过归一化处理后的数据； S32、 引入相关性矩阵， 具体 计算公式如下： （2） 式中，Xi∈X，Yi∈Y； S33、 采用二范 数最小化 来对相关性矩阵进行估计， 具体公式如下： （3） 式中， 为权重矩阵， 训练初始时对应相关性矩阵的行 数和列数自动给定； S34、 为实现局部稀疏以及空间平滑， 结合核范数建立完整的配准优化模型， 具体公式 如下： （4） 式中， 和 分别代表二范数和核范 数， 为惩罚项， 人为设置； S35、 根据交替方向乘子法对式 （4） 进行迭代求 解， 得到迭代后的相关矩阵； 对 的列向量进行归一 化， 得到每一个fN IRS通道中各E EG通道的相关权 重值； S36、 以EEG为基准信号， 采用加权配准的方式将fNIRS耦合到EEG信号当中， 获得配准数 据， 具体公式如下： （5） 式中， 表示配准前E EG信号模态的第 i个通道数据， 表示配准后E EG信号模态的第 i个通道配准数据， 以最佳分类效果为最终目的以及参考指标， 设置多种fNIRS配准通道数量， 结合 式 （5） ， 选择多种fN IRS配准通道数量中达 到最优的配准效果的fN IRS配准通道数量。 5.根据权利要求4所述的多模态配准和时空特征注意的动静结合速度想象分类方法， 其特征在于： 步骤S4中， 卷积神经网络结合注意力机制的双流时空特征建立提取及注意模权　利　要　求　书 2/3 页 3 CN 115374831 A 3