(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211123830.4 (22)申请日 2022.09.15 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 张家波　徐光辉　甘海洋　黄钟玉　 高洁　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 专利代理师 李金蓉 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于多维特 征融合的微表情识别方法 (57)摘要 本发明公开了一种基于多维特征融合的微 表情识别方法， 包括图像预处理， 提取光流特征 分量， 构建多维特征融合网络， 使用训练得到的 模型进行微表情分类四个步骤。 本发 明中为了补 偿模型丢失的面部细节信息， 构建了一个特征融 合模块， 将特征融合模块提取的浅层特征与双流 卷积网络提取的抽象特征融合， 共同用于模型分 类。 对于提取的高维融合特征， 经过通道注意力 模块赋予通道 不同的权值， 使模 型更加关注贡献 度高的通道， 进一 步提高微表情识别的精度。 权利要求书2页 说明书7页 附图1页 CN 115393944 A 2022.11.25 CN 115393944 A 1.一种基于多维特 征融合的微表情识别方法， 其特 征在于， 包括以下步骤： 步骤一、 图像预处理， 包括图像灰度化、 面部关键点检测、 面部对齐裁剪以及尺度归一 化； 步骤二、 使用迭代Lucas ‑Kanade算法提取起始帧和顶点帧之间光流水平分量u和光流 垂直分量v； 步骤三、 构建多维特 征融合网络； 步骤四、 使用训练得到的模型进行微表情分类。 2.根据权利要求1所述一种基于多维特征融合的微表情识别方法， 其特征在于： 步骤一 所述面部关键点检测采用基于级联 形状回归的方法检测微表情数据集中的面部关键点。 3.根据权利要求2所述一种基于多维特征融合的微表情识别方法， 其特征在于： 步骤一 所述面部对齐裁 剪包括： 利用公式(1)和公式(2)计算两眼之间的距离d以及左右眼中心坐标连线与水平方向的 夹角 θ； 式中， x1,y1为左眼内眼角坐标， x2,y2为右眼内眼角坐标， d为两眼之间的距离， θ为左右 眼连线与水平方向夹角； 然后通过公式(3)两个眼睛的坐标计算出两眼之间的眼距中点(x0,y0)， 并将眼距中心作为旋转中心， 在旋转后则人脸关键点的位置， 计算公式见公式(4)： 其中， x,y为调整前目标像素空间位置索引， x ′,y′为调整后目标像素空间位置索引； 在 人脸对齐之后， 进行 人脸裁剪操作。 4.根据权利要求1所述一种基于多维特征融合的微表情识别方法， 其特征在于： 步骤二 所述起始帧是微表情出现的瞬 间， 顶点帧是微表情幅度最大的瞬 间。 5.根据权利要求1所述一种基于多维特征融合的微表情识别方法， 其特征在于： 步骤三 所述多维特 征融合网络具体为： 将光流水平分量u和光流垂直分量v作为双流卷积神经网络的输入， 骨干网络采取对称 结构， 第一层、 第三层和第四层使用卷积层， 用于提取光流特征的纹理信息和边缘特征， 第 二层和第 五层使用的是最大池化层， 对输入的特征维度进行下采样； 骨干网络中第一层卷 积层的输出通过特征融合模块进 行特征融合， 然后与两条支路的第五层的最大池化层输出 特征再次融合， 以得到包含面部细节信息和抽象特征的输出； 在多维特征融合之后， 引入通 道注意力模块， 对不同的通道赋予不同的重要性， 突出对模型分类判别有用的特征； 接着引权　利　要　求　书 1/2 页 2 CN 115393944 A 2入两层全连接层， 从全连接层输出的特 征被传递到 输出层， 通过softmax函数进行分类。 6.根据权利要求5所述一种基于多维特征融合的微表情识别方法， 其特征在于： 所述特 征融合模块具体为： 设输入的特征为xm， 即网络的第 m层输出， 包含c个通道的特征， 则输入特征可以表示为 在融合前， 对来自浅层的两个特征进行一维卷积操作， 使其维数统一， 变换后 的特征表示为： 式中， χm, χm′为输入特征和输出特征， c为输入特征和输出特征的通道， w为卷积核权重， b为偏置项， 表示某一个通道的输入特 征， 经过一维卷积 操作之后， 将两个特 征图基于通道叠加， 即 χn′表示FFM模块下支路经 过卷积层的输出； 接着使用Relu函数激活融合的高维特 征并输入到最大池化层。 7.根据权利要求1 ‑6任一项所述一种基于多维特征融合的微表情识别方法， 其特征在 于： 所述微表情分类， 分类为第l类表情的概 率为： 式中， p， x， l， L， y分别为模型预测标签、 输入图像、 预测的情绪标签、 情绪类别总数、 真 实标签， xj， xn分别表示第j,n个结点的输出值。权　利　要　求　书 2/2 页 3 CN 115393944 A 3