(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210174140.5 (22)申请日 2022.02.24 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 晋建秀　王洒洒　舒琳　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 林梅繁 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于时序特征的虚拟现实视频情感识别方 法及系统 (57)摘要 本发明属于认知心理学、 虚拟现实技术和情 感连续识别的交叉融合领域， 为基于时序特征的 虚拟现实视频情感识别方法和系统， 包括： 建立 带有连续情感标签的虚拟现实场景音视频数据 集； 对待识别的虚拟现实场景视频进行跨范式数 据预处理； 对预处理后的数据进行特征提取， 用 深度学习网络提取来自音频、 视觉、 时序和生理 信号的深度特征； 训练单模态虚拟现实场景视频 情感回归模型， 并融合生成、 训练多模态情感回 归神经网络模 型； 将待识别虚拟现实场景视频输 入多模态情感回归神经网络模型， 输出连续情感 回归结果。 本发明能够基于时序、 视觉、 音频、 生 理信号多模态特征， 为虚拟现实场景视频的情感 评估提供新途径， 高效准确地进行情感连续识 别。 权利要求书2页 说明书4页 附图2页 CN 114581823 A 2022.06.03 CN 114581823 A 1.基于时序特 征的虚拟现实视频情感识别方法， 其特 征在于， 包括以下步骤： S1、 建立带有连续情感标签的虚拟现实场景音视频数据集， 数据集内容包括手动提取 的连续情绪标签、 音频 特征、 视觉特征及生理信号特 征； S2、 对待识别的虚拟现实场景视频进行跨范式数据预处 理； S3、 对预处理后的数据进行特征提取， 用深度学习网络提取来自音频、 视觉、 时序和生 理信号的深度特 征； S4、 训练单模态虚拟现实场景视频情感回归模型， 并融合生成多模态情感回归神经网 络模型； S5、 训练多模态情感回归神经网络模型； S6、 将待识别虚拟现实场景视频输入多模态情感回归神经网络模型， 输出连续情感回 归结果。 2.根据权利要求1所述的虚拟现实视频情感识别方法， 其特 征在于， 步骤S1包括： S11、 搜集包含不同情 感内容的虚拟现实场景视频， 通过M名健康受试者对搜集到的N个 虚拟现实场景视频进行SAM自我评估， 根据评估得分， 在各个情感象限分别筛选出F个虚拟 现实场景视频； S12、 搭建连续SAM自我评估实验范式， 由P个健康受试者对虚拟现实场景视频进行连续 SAM情感评估实验， 受试者在头戴虚拟头显观看虚拟现实场景视频时， 实时进行SAM自我评 估； 收集受试者的连续生理信号和对虚拟现实场景视频在愉悦度、 唤醒度和支配度三个维 度上的评分， 将P个健康受试者的连续评分平均值作为虚拟现实场景视频的情绪标签。 S13、 对每个虚拟现实场景视频进行处理， 提取其在视觉、 音频方面的手工特征和生理 信号特征， 并与连续情感标签相对应， 实现虚拟现实场景音视频 连续情感数据集的构建。 3.根据权利要求2所述的虚拟现实视频情感识别方法， 其特征在于， 步骤S13对每个虚 拟现实场景视频进行处 理， 包括手工特 征提取、 特 征对齐和归一 化处理。 4.根据权利要求3所述的虚拟现实视频情感识别方法， 其特 征在于， 步骤S13包括： S131、 提取虚拟现实场景视频在视觉、 音频方面的手工特征、 时序特征、 动作信息特征 和生理信 号特征， 其中生理信 号特征包含EEG、 BVP、 GSR、 ECG及HR， 视觉特征包括颜色特征、 灰度特征、 形状特 征、 纹理特征及共生矩阵特 征； S132、 将来自不同维度的特征与情感标签对齐， 并作各维度与情感高相 关的情感特征 选择和归一 化处理。 5.根据权利要求1所述的虚拟现实视频情 感识别方法， 其特征在于， 步骤S3 中深度学习 网络提取的音频特征被转化为灰度图谱图片， 与视觉特征一同由CNN网络和RNN网络提取视 觉、 音频和时序特征， 由RNN网络提取生理特征； 并将所提取的特征进 行特征主成分分析、 对 齐和归一 化处理。 6.根据权利要求1所述的虚拟现实视频情 感识别方法， 其特征在于， 步骤S4中单模态情 感回归模型包括视觉情感回归网络、 音频情感回归网络和 生理信号情感回归网络， 其网络 主要架构均为CN N‑RNN网络， 并在CN N网络中添加了注意力机制模块CABM 。 7.根据权利要求6所述的虚拟现实视频情感识别方法， 其特 征在于， 步骤S4包括： S41、 分别训练视觉情 感回归网络、 音频情 感回归网络和生理信号情感回归网络三种单 模态虚拟现实场景视频情感回归 模型；权　利　要　求　书 1/2 页 2 CN 114581823 A 2S42、 根据特征层融合、 决策层融合和混合融合的方式， 生成多模态情感回归神经网络 模型； 所述特征层融合指各单模态神经网络在提取到特征后， 通过Add和Concat的方式合并 各模态的多层特征， 随后输入到池化层和全连接层； 所述决策层融合指各单模态模型获得 回归结果后根据最大池化、 平均池化、 加权池化的方式得到最终回归 结果； 所述混合融合意 指将特征层融合和决策层融合结合的方式获得回归结果。 8.基于时序特 征的虚拟现实视频情感识别系统， 其特 征在于， 包括： 数据集建立模块， 用于建立带有连续情感标签的虚拟现实场景音视频数据集， 数据集 内容包括手动提取的连续情绪标签、 音频 特征、 视觉特征及生理信号特 征； 预处理模块， 用于对待识别的虚拟现实场景视频进行跨范式数据预处 理； 特征提取模块， 对预处理后的数据进行特征提取， 用深度学习网络提取来自音频、 视 觉、 时序和生理信号的深度特 征； 多模态回归模型生成及训练模块， 训练单模态虚拟现实场景视频情感回归模型， 并融 合生成多模态情感回归神经网络模型， 并训练多模态情感回归神经网络模型； 情感识别模块， 用于将待识别虚拟现实场景视频输入多模态情感回归神经网络模型， 输出连续情感回归结果。 9.根据权利要求8所述的虚拟现实视频情 感识别系统， 其特征在于， 数据集建立模块建 立数据集的过程包括： 搜集包含不同情 感内容的虚拟现实场景视频， 通过M名健康 受试者对搜集到的N个虚拟 现实场景视频进行SAM自我评估， 根据评估得分， 在各个情感象限分别筛选出F个虚拟现实 场景视频； 搭建连续SAM自我评估实验范式， 由P个健康受试者对虚拟现实场景视频进行连续SAM 情感评估实验， 受试者在头戴虚拟头显观看虚拟现实场景视频时， 实时进行SAM自我评估； 收集受试者的连续生理信号和对虚拟现实场景视频在愉悦度、 唤醒度和支配度三个维度上 的评分， 将P个健康受试者的连续评分平均值作为虚拟现实场景视频的情绪标签。 对每个虚拟现实场景视频进行处理， 提取其在视觉、 音频方面的手工特征和生理信号 特征， 并与连续情感标签相对应， 实现虚拟现实场景音视频 连续情感数据集的构建。 10.根据权利要求8所述的虚拟现实视频情感识别系统， 其特征在于， 特征提取模块中 深度学习网络提取的音频特征被转化为灰度图谱图片， 与视觉特征一同由CNN网络和RNN网 络提取视觉、 音频和时序特征， 由RNN网络提取生理特征； 并将所提取的特征进行特征主成 分分析、 对齐和归一 化处理。权　利　要　求　书 2/2 页 3 CN 114581823 A 3