(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211257173.2 (22)申请日 2022.10.14 (71)申请人 安庆师范大学 地址 246000 安徽省安庆市集贤北路1318 号 (72)发明人 刘德阳　张璐　张友志　郑馨　 艾列富　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 相黎超 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06T 9/00(2006.01) (54)发明名称 一种虚拟现实图像质量评估方法及系统 (57)摘要 本申请公开了一种虚拟现实图像质量评估 方法及系统， 包括： 构建主干网络； 获取二维ERP 格式图像， 将其转换为球体结构下的多个视口 图 像， 并获得主干网络预测分数； 构建多尺度辅助 网络， 基于多尺度辅助网络获得多尺度特征， 并 对其进行融合， 得到多尺度融合特征； 对多尺度 融合特征进行拼接， 并进行感知质量回归， 得到 辅助网络的预测分数； 将主干网络和辅助网络的 预测分数进行拼接， 得到全景图像感知质量预测 分数； 计算全 景图像感知质量预测分数与全景图 像主观质量分数的损失， 并对整体网络进行训 练、 优化， 得到最优模型， 进而对虚拟现实图像进 行质量评估。 本申请考虑到 人眼观看VR时的多尺 度感知特性， 进 一步提高了VR全景图像质量预测 准确度。 权利要求书2页 说明书10页 附图5页 CN 115546162 A 2022.12.30 CN 115546162 A 1.一种虚拟现实图像质量评估方法， 其特 征在于， 包括： S1、 构建主干网络； S2、 获取一张二维ERP格式图像， 将所述二维ERP格式图像转换为球体结构下的多个视 口图像； S3、 基于所述主干网络和所述视口图像， 获得主干网络预测分数； S4、 构建多尺度辅助网络， 基于所述多尺度辅助网络获得多尺度 特征， 并对所述多尺度 特征进行融合， 得到多尺度融合特 征； S5、 对所述多尺度特征及所述多尺度融合特征进行拼接， 得到第三拼接特征， 对所述第 三拼接特征进行感知质量回归， 得到所述辅助网络的预测分数； S6、 将所述主干网络的预测分数和所述辅助网络的预测分数进行拼接， 得到全景图像 感知质量预测分数； S7、 计算所述全景图像感知质量预测分数与全景图像主观质量分数的损失， 并基于所 述损失， 对整体网络进 行训练、 优化， 得到最优模 型， 基于所述最优模 型， 对虚拟现实图像进 行质量评估。 2.根据权利要求1所述虚拟现实图像质量评估方法， 其特征在于， S1所述主干网络包括 基于注意力机制的Visi on Transformer。 3.根据权利要求1所述虚拟现实图像质量评估方法， 其特征在于， S2所述多个视口图像 包括： 上、 下、 前、 后、 左、 右六个方位对应的视口图像。 4.根据权利要求1所述虚拟现实图像质量评估方法， 其特征在于， S3获得所述主干网络 预测分数的方法包括： 将所述视口图像输入至所述主干网络， 获得 所述视口图像的高维特 征； 对所述高维图像特征进行拼接， 得到第一拼接特征， 并基于空间位置对所述第一拼接 特征进行特征融合， 获得融合后的视口空间位置关联 特征； 将所述高维特征和所述视口空间位置关联特征进行拼接， 获得第二拼接特征， 并对所 述第二拼接特征进行感知质量回归， 得到所述主干网络的预测分数。 5.根据权利要求4所述虚拟现实图像质量评估方法， 其特征在于， 所述融合后的视口空 间位置关联 特征获取方法包括： 对所述高维特 征进行拼接， 得到所述第一 拼接特征； 对所述第一 拼接特征添加一维位置编码， 获取视口空间拼接特 征； 基于所述视口空间拼接特 征， 获得视口空间融合特 征； 调整所述视口空间融合特征维度， 基于特征融合提取模块， 获得所述融合后的视口空 间位置关联 特征。 6.根据权利要求3所述虚拟现实图像质量评估方法， 其特征在于， S4所述多尺度辅助网 络的构建方法包括： 将所述视口图像中的前方方位视口图像通过resize调整到多个新的尺度， 作为多尺度 输入； 以Resnet50作 为基础框架， 基于所述多尺度输入， 在最 高池化层设置池化核大小， 得到 所述多尺度辅助网络 。 7.根据权利要求1所述虚拟现实图像质量评估方法， 其特征在于， S7所述损失的计算方权　利　要　求　书 1/2 页 2 CN 115546162 A 2法包括： 采用MAE损失函数， 计算所述全景图像感知质量预测分数与全 景图像主观质量分数 的损失。 8.一种虚拟现实图像质量评估系统， 其特征在于， 包括： 第一网络构建模块、 格式转换 模块、 第一分数预测模块、 第二网络构建模块、 第二分数预测模块、 第三分数预测模块和模 型优化模块； 所述第一网络构建模块用于基于注意力机制的Visi on Transformer构建主干网络； 所述格式转换模块用于将二维ERP格式图像转换为球 体结构下的多个视口图像； 所述多个视口图像包括上、 下、 前、 后、 左、 右六个方位对应的视口图像； 所述第一分数预测模块用于基于所述主干网络和所述视口图像， 获得主干网络预测分 数； 所述第二网络构建模块用于构建多尺度辅助网络， 基于所述多尺度辅助网络获得多尺 度特征， 并对所述多尺度特 征进行融合， 得到多尺度融合特 征； 所述第二分数预测模块用于对所述多尺度 特征及所述多尺度融合特征进行拼接， 得到 第三拼接特征， 对所述第三 拼接特征进行感知质量回归， 得到所述辅助网络的预测分数； 所述第三分数预测模块用于将所述主干网络的预测分数和所述辅助网络的预测分数 进行拼接， 得到全景图像感知质量预测分数； 所述模型优化模块用于基于MAE损失函数， 计算所述全景图像感知质量预测分数与全 景图像主观质量分数的损失， 并基于所述损失， 对整体网络进 行训练、 优化， 得到最优模型， 并基于所述 最优模型， 对虚拟现实图像进行质量评估。 9.根据权利要求8所述虚拟现实图像质量评估系统， 其特征在于， 所述第 二网络构建模 块构建所述多尺度辅助网络的方法包括： 将所述视口图像中的前方方位视口图像通过resize调整到多个新的尺度， 作为多尺度 输入； 以Resnet50作 为基础框架， 基于所述多尺度输入， 在最 高池化层设置池化核大小， 得到 所述多尺度辅助网络 。 10.根据权利要求8所述虚拟现实图像质量评估系统， 其特征在于， 所述第一分数预测 模块获得 所述主干网络预测分数的过程包括： 将所述视口图像输入至所述主干网络， 获得 所述视口图像的高维特 征； 对所述高维图像特征进行拼接， 得到第一拼接特征， 并基于空间位置对所述第一拼接 特征进行特征融合， 获得融合后的视口空间位置关联 特征； 将所述高维特征和所述视口空间位置关联特征进行拼接， 获得第二拼接特征， 并对所 述第二拼接特征进行感知质量回归， 得到所述主干网络的预测分数。权　利　要　求　书 2/2 页 3 CN 115546162 A 3