(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111671593.0 (22)申请日 2021.12.31 (71)申请人 之江实验室 地址 310012 浙江省杭州市文一西路1818 号 申请人 厦门大学 (72)发明人 严严　邹心怡　王菡子　王彪　 张吉　 (74)专利代理 机构 厦门原创专利事务所(普通 合伙) 35101 代理人 吴廷正 (51)Int.Cl. G06V 40/16(2022.01) G06K 9/62(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/74(2022.01) (54)发明名称 基于联合和交替学习框架的跨域新类人脸 表情识别方法 (57)摘要 本发明公开了基于联合和交替学习框架的 跨域新类人脸表情识别方法， 包括： A、 建立基本 类表情数据集和复合类表情数据集； B、 构建用于 表情数据识别的情感 ‑相似度网络； C、 对步骤B中 的情感分支进行训练全部基本类表情数据的分 类模型； D、 对步骤B中的相似度分支进行学习表 情数据可迁移的特征和度量； E、 构建二阶段的联 合和交替学习学习框架进行训练情感 ‑相似度网 络， 以提高模型对新类表情 的泛化能力； F、 在复 合类表情数据集上采样N个类， 使每类包含K个有 标签样本作为支持集， 每类Q个样本作为查询集， 然后基于经训练的相似度分支对查询集进行新 类表情分类准确率的计算； 本方案是一种灵活且 贴近实际需求的解决新类人脸表情识别问题的 方案。 权利要求书3页 说明书10页 附图2页 CN 114333027 A 2022.04.12 CN 114333027 A 1.一种基于联合和交替学习框架的跨 域新类人脸表情识别方法， 其特 征在于， 包括： A、 建立基本类表情数据集和复合类表情数据集， 并对其进行 数据预处 理； B、 构建用于表情数据识别的情感 ‑相似度网络， 其包括情感分支和相似度分支， 其中， 情感分支用于捕获全部基本类表情数据的整体特征， 相似度分支用于学习两个表情数据之 间可迁移的度量信息， 且基于所获得的度量完成新类人脸表情的识别； C、 对步骤B中的情感分支采用批训练的方式进行训练全部基本类表情数据的分类模 型； D、 对步骤B中的相似度分支采用元学习中情景训练的方法进行学习表情数据可迁移的 特征和度量； E、 构建二阶段的联合和交替学习学习框架进行训练情感 ‑相似度网络， 以提高模型对 新类表情的泛化能力； F、 在复合类表情数据集上采样N个类， 使每类包含K个有标签样本作为支持集， 每类Q个 样本作为查询集， 然后基于经训练的相似度分支对查询集进行新类表情分类准确率的计 算。 2.如权利要求1所述的基于联合和 交替学习框架的跨域新类人脸表情识别方法， 其特 征在于， 步骤A中， 所述基本类表情数据集包括室内数据集和室外数据集， 其中， 室内数据集 至少包括CK+数据集， MMI数据集和OULU数据集中的一种以上； 室外数据集至少包括 RAF数据 集和SFEW数据集中的一种以上。 3.如权利要求2所述的基于联合和 交替学习框架的跨域新类人脸表情识别方法， 其特 征在于， 步骤A中， 所述复合类表情数据集包括CFE E数据集和Emoti oNet数据集。 4.如权利要求3所述的基于联合和 交替学习框架的跨域新类人脸表情识别方法， 其特 征在于， 步骤A中， 所述基本类表情数据集和复合类表情数据集均先经过MTCNN进行人脸对 齐， 并裁剪变化到2 24*224后， 作为模型的输入项。 5.如权利要求1所述的基于联合和 交替学习框架的跨域新类人脸表情识别方法， 其特 征在于， 步骤B中， 所述情感分支包括基于ResNet18的情感特征提取器和分类器两部分； 所 述相似度分支包括基于ResNet18的相似度特 征提取器和度量模块两 部分。 6.如权利要求5所述的基于联合和 交替学习框架的跨域新类人脸表情识别方法， 其特 征在于， 步骤C中， 对情感分支采用批训练的方式进行训练全部基本类表情数据的分类模 型， 其每次迭代从一个基本类表情数据集中采样出批数据{X,Y}， 然后对于其中的一个样本 xi， 经过情感特征提取器Ee和分类器 f的前向传播， 得到预测结果 再计算预测 结果 与真实标签y的交叉熵损失 以用于更新网络参数， 该交叉熵损失 的公式如 下： 其中， C为基本表情的类别数， 指示 函数 为1当且仅当c＝yi时成立。 7.如权利要求5所述的基于联合和 交替学习框架的跨域新类人脸表情识别方法， 其特 征在于， 步骤D 中， 对步骤B中的相似度分支采用元学习中情景训练的方法进行学习表情数 据可迁移的特征和度量， 其每次从一个基本类表情数据集中随机采样出N个类， 每类采样出权　利　要　求　书 1/3 页 2 CN 114333027 A 2若干样本并划分为支持集 和查询集 其中， Xs,Ys,Xq,Yq分别表 示支持集和查询集的样 本和标签， 由此构造了N ‑Way K‑shot的小样 本分类任务， K为支持集 中每类样本的个数； 将支持集和查询集的样本分别 经过相似度特征提取器Es的前向传播计算图像特征， 由 度量模块M计算支持集和查询集的样本距离， 并将查询集样本 分配给最近邻的支持集， 其 公 式如下： 其中， 表示对于查询集样本的预测结果， M表示度量模块； 对相似度分支， 计算预测结果 与真实标签yq的交叉熵损失 用于更新网络参数， 其公式如下： 8.如权利要求1所述的基于联合和 交替学习框架的跨域新类人脸表情识别方法， 其特 征在于， 步骤E包括： E1、 对步骤C、 步骤D训练过程的每一批 /情景中， 随机 选一个源域进行采样； E2、 联合学习过程： 采用多任务学习， 联合训练情感分支和相似度分支， 利用情感分支 对相似度分支进行正则化规约， 来防止模型对采样的高度重复的任务的过拟合， 该过程的 整体损失为； 其中， λemo为调节两者损失的平衡参数， 分别表示公式一、 公式三中定义的 情感分支和相似度分支的任务损失； E3、 交替学习过程： 固定相似度分支的网络参数， 用相似度特征提取器的输出特征， 监 督情感特 征提取器的输出 特征， 这一过程损失函数定义如下： 其中， 为公式一中定义的情感分支自身任务的损失函数， 表示用于监督的正 则项 的权重； 将情感分支和相似度分支进行角色互换， 固定情感分支 的网络参数， 并用情感特征提 取器的输出 特征监督相似度特 征提取器的输出 特征， 同理， 该 过程的损失函数定义如下： 其中， 为公式三中定义的相似度分支自身任务的损失函数， 动态变化的权重 用于强调本身相似度分支任务的重要性。 9.如权利要求1所述的基于联合和 交替学习框架的跨域新类人脸表情识别方法， 其特 征在于， 步骤F中， 利用经步骤E训练好的情 感‑相似度网络模型， 在复合类表情数据集上采样N个类， 使每 类包含K个有标签样 本作为支持集， 每类Q个样 本作为查询集， 计算查询集的所有N*Q个样本权　利　要　求　书 2/3 页 3 CN 114333027 A 3