(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211278530.3 (22)申请日 2022.10.19 (71)申请人 开封大学 地址 475000 河南省开封市龙亭区东京大 道开封大 学 (72)发明人 朱悦云　黄胜　谭一菱　王倩　 范明星　 (74)专利代理 机构 郑州亦鼎知识产权代理事务 所(普通合伙) 41188 专利代理师 宋文岩 (51)Int.Cl. G06T 19/00(2011.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 40/16(2022.01) (54)发明名称 一种虚拟现实显示方法及设备 (57)摘要 本申请提供一种虚拟现实显示方法、 设备及 存储介质， 所述方法包括： 接收用户面部图像数 据； 对所述面部图像数据进行面部表情图像预处 理； 对预处理后的面部表情图像进行表情特征提 取； 根据所述提取的表情特征判断面部图像中表 情所属的表情分类， 确定面部表情识别结果； 将 面部表情识别结果输入虚拟现实场景中， 所述虚 拟现实场景中的目标对象根据上述面部表情识 别结果执 行特定动作。 权利要求书2页 说明书6页 附图2页 CN 115471639 A 2022.12.13 CN 115471639 A 1.一种虚拟现实显示方法， 应用于虚拟现实显示设备中， 所述虚拟现实显示设备由用 户佩戴， 其特 征在于， 包括以下步骤： S1： 接收用户面部图像数据； S2： 对所述 面部图像数据进行面部表情图像预处 理； S3:对预处 理后的面部表情图像进行表情特 征提取； S4： 根据所述提取的表情特征判断面部图像中表情所属的表情分类， 确定面部表情识 别结果； S5:将面部表情识别结果输入虚拟现实场景中， 所述虚拟现实场景中的目标对象根据 上述面部表情识别结果执 行特定动作。 2.根据权利要求1所述的方法， 步骤S3 中， 采用优化后的神经网络模型进行表情特征提 取， 所述优化后的神经网络算法包括： 输入匹配层、 扩展和共享学习层以及自适应反馈输出 层， 所述输入匹配层具体包括： 使用主成分分析方法将面部表情图像从高维信息空间映射 到低维特征子空间； 为加强对输出 的控制， 利用卷积神经网络的局部感知作为不同尺度图 像判断的基础， 以提供反馈能力； 将前一层收集的局部特征组合在一起以获得图像的局部 信息； 所述扩展和共享学习层具体包括： 将面部特征转换为颜色、 光线、 和形状， 利用时间偏 移因子替换原隐含层的阈值； 使用权 重共享， 获取 特征的卷积运 算与特征位置无关； 所述自适应反馈输出具体包括： 对扩展和共享学习层中节点的输出进行加权求和， 使 用激活函数sigmo id对加权求和的结果进行转换， 并作为 最终的输出 结果。 3.根据权利要求1所述的方法， 所述对所述面部图像数据进行预处理， 包括面部图像旋 转、 面部图像切割以及直方图均衡化。 4.根据权利要求2所述的方法， 利用面部表情类别知识图进行表情分类， 其中， 将得到 的面部表情特 征H作为模型输入， F( ·)表示表情分类结果， 损失函数为： 其中， H表示节点特征， Fi(H)表示第i张面部表情的输出结果， yi表示面部表情图像i的 标签， m为面部表情的数目， Lcross_entropy作为交叉熵， 表示面部表情图像类别预测值和面部 表情真实标签之间的损失函数。 5.一种虚拟现实显示设备， 所述虚拟现实显示设备由用户佩戴， 其特征在于， 所述虚拟 现实显示设备包括以下模块： 接收模块， 用于 接收所述用户面部图像数据； 预处理模块， 所述预处 理模块用于对所述 面部图像数据进行面部表情图像预处 理； 表情特征提取模块， 所述表情特征提取模块用于对预处理后的面部表情图像进行表情 特征提取； 表情分类模块， 所述表情分类模块用于根据 所述提取的表情特征判断面部图像中表情 所属的表情分类， 确定面部表情识别结果； 处理模块， 所述处理模块用于将面部表情识别结果输入虚拟现实场景中， 所述虚拟现 实场景中的目标对象根据上述 面部表情识别结果执 行特定动作。权　利　要　求　书 1/2 页 2 CN 115471639 A 26.根据权利要求5所述的设备， 其特征在于， 所述表情特征提取模块采用优化后的神经 网络模型进 行表情特征提取， 所述优化后的神经网络算法包括： 输入匹配层、 扩展和共享学 习层以及自适应反馈输出层， 所述输入匹配层具体包括： 使用主成分分析方法将面部表情 图像从高维信息空间映射到低 维特征子空间； 为加强对输出 的控制， 利用卷积神经网络的 局部感知作为不同尺度图像判断的基础， 以提供反馈能力； 将前一层收集的局部特征组合 在一起以获得图像的局部信息； 所述扩展和共享学习层具体包括： 将面部特征转换为颜色、 光线、 和形状， 利用时间偏 移因子替换原隐含层的阈值； 使用权 重共享， 获取 特征的卷积运 算与特征位置无关； 所述自适应反馈输出具体包括： 对扩展和共享学习层中节点的输出进行加权求和， 使 用激活函数sigmo id对加权求和的结果进行转换， 并作为 最终的输出 结果。 7.根据权利要求5所述的设备， 其特征在于， 所述预处理模块对所述面部图像数据进行 预处理， 包括面部图像旋转、 面部图像切割以及直方图均衡化。 8.根据权利要求6所述的设备， 其特征在于， 利用面部表情类别知识图进行表情分类， 其中， 将得到的面部表情特 征H作为模型输入， F( ·)表示表情分类结果， 损失函数为： 其中， H表示节点特征， Fi(H)表示第i张面部表情的输出结果， yi表示面部表情图像i的 标签， m为面部表情的数目， Lcross_entropy作为交叉熵， 表示面部表情图像类别预测值和面部 表情真实标签之间的损失函数。 9.一种虚拟现实显示装置， 包括处理器、 存储介质， 其中该处理器用于执行所述存储介 质上存储的计算机指令， 所述计算机指令被处理器执行时用于实现权利要求1 ‑4任意一项 所述的方法。 10.一种存储介质， 其上存储有计算机指令， 所述指令被处理器执行时用于实现权利要 求1‑4任意一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115471639 A 3