(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111272389.1 (22)申请日 2021.10.2 9 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 孔万增　刘栋军　唐佳佳　章杭奎　 刘国文　郭继伟　刘可　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 陈炜 (51)Int.Cl. A61B 5/16(2006.01) A61B 5/369(2021.01) A61B 5/378(2021.01) A61B 5/00(2006.01)G06K 9/00(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于脑机模态共空间的情绪识别方法 (57)摘要 本发明公开一种基于脑机模态共空间的情 绪识别方法。 针对情绪识别任务， 人脑处理信息 后得到的是具有情感的认知 表征， 而机器学习到 的仅仅是图像的形式表征， 如果能够建立两者之 间的共性关系， 通过 “人脑”引导“机器”学习， 将 人脑的情感认知能力赋予机器。 为了将人脑感知 的信息赋予机器， 需要建立图像模态和脑电模态 的共空间模 型， 从而获取形式表征和认知表征之 间的共性信息。 本发明将探索 脑电模态与图像模 态之间的共性关系， 建立形式表征与认知表征之 间的联系， 实现脑机协 同智能。 为了减少认知表 征与形式表征间的差异， 使 得形式表征无限逼近 认知表征， 本发明设计一种 “基于脑机模态共空 间的情绪识别方法 ”。 权利要求书2页 说明书7页 附图3页 CN 113974628 A 2022.01.28 CN 113974628 A 1.一种基于脑机模态共空间的情绪识别方法， 其特征在于： 步骤1、 获取数据， 采集不同 情绪类别的图像模态数据， 并针对所有图像模态数据采集人观察图像后获得脑电模态数 据； 步骤2、 针对图像模态数据提取图像模态初级表征； 针对脑电模态数据提取脑电模态初 级表征； 步骤3、 构建特 征提取模型； 将图像视觉 特征和脑电情感特征分别 作为特征X和特征Y； 构建私 有信息编码函数Ep、 公 共信息编码函 数Ec和预测函数r＝G(h)； 针对特征X和特征Y， 使用私有信息编码函数Ep、 公共 信息编码 函数Ec学习隐藏的模态公共信息 模态私有信息 模 态公共信息 模态私有信息 公共信息编码函数Ec在两种模态 中共享参数θc， 私有信息编码函数Ep在两种模态中分配单独的参数 调整公共信息 编码函数Ec， 使得特征X对应的模态公共信息 和特征Y对应的模态公共信息 的空间分布 相互靠近， 整体误差L最小化； L＝Ltask+α Lsim+β Ldiff； 其中， Ltask为任务误差； Lsim为相似性误 差； Ldiff为差异性 误差； α 、 β 是决定每 个正则化组件 对整体误差L贡献的相互作用权值； 步骤4、 情绪识别 利用私有信息编码函数Ep、 公共信息编码函数Ec， 分别对被识别图像中提取出的图像模 态初级表征进 行提取； 所得的两个向量通过连接函数进 行融合， 得到融合向量； 融合向量输 入线性分类层， 将线性分类层输出 的信息与情绪类别标签进行对比， 得到最终的被识别图 像对应的情绪类别。 2.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法， 其特征在于： 步骤 3中所述的相似性 误差Lsim使用中心 矩差度量 来实现最小化； 相似性 误差Lsim的表达式为： 其中， CMDK为中心矩差正则化器； 设X和Y是在区间[a,b]N上具有各自概率分布p和q的有 界随机样本； 中心 矩差正则化器C MDK被定义为CMD度量的经验 估计； 其中， 是样本X的经验期望向量， Ck(X)＝E((x ‑E(X))k)是样本X的所 有k阶样本中心 矩向量； K 是确定中心 矩数目界限的参数。 3.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法， 其特征在于： 步骤 3中所述的差异性 误差Ldiff计算为： 其 中 ， 是 弗 罗比 尼 乌斯 范 数 ； 的 分 别由 每 个向 量 表示。权　利　要　求　书 1/2 页 2 CN 113974628 A 24.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法， 其特征在于： 步骤 3中所述的任务 误差Ltask通过交叉熵损失表达 。 5.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法， 其特征在于： 所述 的私有信息编码函数Ep、 公共信息编码函数Ec和预测函数r＝G(h)均使用全连接神经层实 现。 6.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法， 其特征在于： 步骤 2中通过图像模态初级表征提 取器GX提取特征； 图像模态初级表征提取器GX由三个卷积模块 组成， 每个卷积模块由卷积层、 归一 化层、 非线性激活层、 最大池化层组成。 7.根据权利要求1所述的一种基于脑机模态共空间的情绪识别方法， 其特征在于： 步骤 2中通过脑电模态初级表征提 取器GY提取特征； 脑电模态初级表征提取器GY由三个卷积模块 构成， 分别为普通卷积模块、 深度卷积模块和可分离卷积模块。权　利　要　求　书 2/2 页 3 CN 113974628 A 3