(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211341225.4 (22)申请日 2022.10.31 (71)申请人 浙江浙大西投脑机智能科技有限公 司 地址 310000 浙江省杭州市西湖区智汇众 创中心1号楼 (72)发明人 祁玉　王跃明　孙华琴　李响　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 汪丹琪 (51)Int.Cl. A61B 5/372(2021.01) A61B 5/00(2006.01) (54)发明名称 一种基于注意力机制的时频信息动态融合 解码方法及装置 (57)摘要 本发明实施例提供一种基于注意力机制的 时频信息动态融合解码方法及装置， 所述方法包 括： 接收神经信号， 获取神经信号中的锋电位信 号对应的时域特征和场电位信号对应的频域特 征； 基于时域特征结合自注意力机制建模， 得到 动态增强时域特征； 基于频域特征结合自注意力 机制建模 得到动态增强频域特征； 并基于动态增 强后的时域特征及频域特征， 结合交叉注意力机 制建模， 得到时频特征； 根据动态融合后的时频 特征， 结合分类变量计算解码结果。 采用本方法 能够动态调整两种信号的融合方式， 降低信号的 变化对解码性能的影响， 提高了神经解码对时间 变化和噪声的鲁棒性， 实现了更准确且鲁棒的神 经解码。 权利要求书3页 说明书11页 附图3页 CN 115381467 A 2022.11.25 CN 115381467 A 1.一种基于注意力机制的时频信息动态融合 解码方法， 其特 征在于， 包括： 接收目标用户基于动作行为产生的神经信号， 对所述神经信号进行预处理， 获取所述 神经信号中的锋电位信号和场电位信号， 并基于所述锋电位信号提取不同时间步内的时域 特征， 基于所述场电位信号 提取不同频 段内的频域特 征； 基于不同时间步内的时域特征， 通过线性转换得到不同时间步对应的表征因子， 结合 自注意力机制建模， 通过模型确定不同时间步的关联性， 并通过所述关联性动态增强所述 时域特征； 基于不同频段内的频域特征， 通过线性转换得到不同频段对应的表征因子， 结合自注 意力机制建模， 通过模型确定不同频段 的关联性， 并通过所述关联性动态增强所述频域特 征； 基于动态增强后的时域特征及频域特征， 通过线性转换得到动态增强后 不同时间步对 应的表征因子及不同频段对应的表征因子， 结合交叉注意力机制建模， 通过模型确定时域 特征和频域特 征之间的关联性， 并基于所述关联性动态融合得到时频 特征； 根据所述动态融合后的时频特征， 结合时域分类变量及频域分类变量， 计算与所述时 频特征对应的时域特征及频域特征， 并通过所述时频特征对应的时域特征及频域特征计算 解码结果。 2.根据权利要求1所述的基于注意力 机制的时频信 息动态融合解码方法， 其特征在于， 所述表征因子， 包括： 查询表征、 键表征和值表征。 3.根据权利要求2所述的基于注意力 机制的时频信 息动态融合解码方法， 其特征在于， 所述基于不同时间步内的时域特征， 通过线性转换得到不同时间步对应的表征因子， 结合 自注意力机制建模， 通过模型确定不同时间步的关联性， 并通过所述关联性动态增强所述 时域特征， 包括： 基于不同时间步内的时域特征， 结合所述查询表征、 键表征和值表征对应的线性转换 矩阵， 结合对应的时间步， 计算得到不同时间步对应的查询表征、 键表征和值表征； 通过每个时间步的查询表征计算与其余 时间步的键表征之间的连接强度， 并基于所述 连接强度定义对应时间步的值表征加权的权重值， 通过所述连接强度及权重值计算得到不 同时间步对应的时域特征， 并应用残差连接和带有层归一化的全连接前馈层进行所述时域 特征的动态增强。 4.根据权利要求3所述的基于注意力 机制的时频信 息动态融合解码方法， 其特征在于， 所述基于不同频段内的频域特征， 通过线性转换得到不同频段对应的表征因子， 结合自注 意力机制建模， 通过模型确定不同频段 的关联性， 并通过所述关联性动态增强所述频域特 征， 包括： 基于不同频段内的时域特征， 结合所述查询表征、 键表征和值表征对应的线性转换矩 阵， 结合对应的频 段， 计算得到不同频 段对应的查询表征、 键表征和值表征； 通过每个频段的查询表征计算与其余频段的键表征之间的连接强度， 并基于所述连接 强度定义对应频段的值表征加权的权重值， 通过所述连接强度及权重值计算得到不同频段 对应的频域特征， 并应用残差连接和带有层归一化的全连接前馈层进 行所述频域特征的动 态增强。权　利　要　求　书 1/3 页 2 CN 115381467 A 25.根据权利要求4所述的基于注意力 机制的时频信 息动态融合解码方法， 其特征在于， 所述基于动态增强后的时域特征及频域特征， 通过线性转换得到动态增强后不同时间步对 应的表征因子及不同频段对应的表征因子， 结合交叉注意力机制建模， 通过模型确定时域 特征和频域特 征之间的关联性， 并基于所述关联性动态融合得到时频 特征， 包括： 基于动态增强后的时域特征， 学习得到对应的查询表征、 键表征和值表征对应的线性 转换矩阵， 结合对应的时域特 征， 计算得到不同时间步对应的查询表征、 键表征和值表征； 基于动态增强后的频域特征， 学习得到对应的查询表征、 键表征和值表征对应的线性 转换矩阵， 结合对应的频域特 征， 计算得到不同频 段对应的查询表征、 键表征和值表征； 通过每个时间步的查询表征计算与每个频段的键表征之间的连接强度， 并基于所述连 接强度定义对应频段的值表征加权的权重值， 通过所述连接强度及权重值计算得到以时域 特征为查询基的频域特 征； 通过每个频段的查询表征计算与每个时间步的键表征之间的连接强度， 并基于所述连 接强度定义对应时间步的值表征加权的权重值， 通过所述连接强度及权重值计算得到以频 域特征为查询基的时域特 征； 将所述以时域特征为查询基的频域特征、 以频域特征为查询基的时域特征进行动态融 合， 得到对应的时频 特征。 6.根据权利要求1所述的基于注意力 机制的时频信 息动态融合解码方法， 其特征在于， 所述通过所述时频 特征对应的时域特 征及频域特 征计算解码结果之后， 还 包括： 基于所述时频特征对应的时域特征及频域特征， 结合所述动作行为的对应特征， 通过 多层感知器 计算所述 解码结果的损失率。 7.根据权利要求1所述的基于注意力 机制的时频信 息动态融合解码方法， 其特征在于， 所述基于所述锋电位信号提取不同时间步内的时域特征， 基于所述场电位信号提取不同频 段内的频域特 征之后， 还 包括： 将所述时域特 征、 频域特 征的数据分为训练集数据、 验证集数据和 测试集数据； 所述解码结果包括： 训练集数据解码结果； 所述通过所述时频 特征对应的时域特 征及频域特 征计算解码结果之后， 还 包括： 通过验证集数据对所述交叉注意力 机制建模的对应模型拟合程度进行评估， 选出评估 结果中的最优 模型， 并结合所述测试集数据评估所述 最优模型的模型性能。 8.一种基于注意力机制的时频信息动态融合 解码装置， 其特 征在于， 所述装置包括： 接收模块， 用于接收目标用户基于动作行为产生的神经信号， 对所述神经信号进行预 处理， 获取所述神经信号中的锋电位信号和场电位信号， 并基于所述锋电位信号提取不同 时间步内的时域特 征， 基于所述场电位信号 提取不同频 段内的频域特 征； 第一建模模块， 用于基于不同时间步内的时域特征， 通过线性转换得到不同时间步对 应的表征 因子， 结合自注意力机制建模， 通过模型确定不同时间步的关联性， 并通过所述关 联性动态增强所述时域特 征； 第二建模模块， 用于基于不同频段内的频域特征， 通过线性转换得到不同频段对应的 表征因子， 结合自注意力机制建模， 通过模型确定不同频段的关联性， 并通过所述关联性动 态增强所述频域特 征；权　利　要　求　书 2/3 页 3 CN 115381467 A 3