(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210600260.7 (22)申请日 2022.05.30 (71)申请人 澳门理工大 学 地址 中国澳门高美士街澳门理工大 学 (72)发明人 张伟　柯韦　 (74)专利代理 机构 珠海智专 专利商标代理有限 公司 44262 专利代理师 林永协 (51)Int.Cl. G06T 7/557(2017.01) G06T 3/40(2006.01) G06T 5/30(2006.01) G06T 7/80(2017.01) G06T 7/73(2017.01) (54)发明名称 基于光场的图像处理方法、 计算机装置及计 算机可读存 储介质 (57)摘要 本发明提供一种基于光场的图像处理方法、 计算机装置及计算机可读存储介质， 该方法包括 获取多个摄像头输出的初始图像数据， 对多个摄 像头的初始图像数据进行分辨率增强处理： 将多 个摄像头的初始图像数据进行视角整合， 并经过 密集特征提取后获得图像的浅层特征， 将浅层特 征经过特征提取与融合后， 获得超分辨率图像数 据； 进行场景深度估计预测， 获得中心位置的场 景深度信息； 将超分辨率图像数据以及场景深度 信息存储在预设的数据存储模块中； 获取视频输 出指令， 获取并显示对应的超分辨率图像数据以 及场景深度信息。 本发明还提供实现上述方法的 计算机装置及计算机可读存储介质。 本发明能够 在控制成本的情况下实现轻量化的超分辨率图 像输出。 权利要求书2页 说明书8页 附图7页 CN 114897958 A 2022.08.12 CN 114897958 A 1.一种基于光场的图像处 理方法， 其特 征在于， 包括： 获取多个摄像头输出的初始图像数据， 对多个所述摄像头的所述初始图像数据进行分 辨率增强处理： 将多个所述摄像头的所述初始图像数据进行视角整合， 并经过密集特征提 取后获得图像的浅层特征， 将所述浅层特征经过特征提取与融合后， 获得超分辨率图像数 据； 应用包含有所述超分辨率图像数据的视频进行场景深度估计预测， 获得中心位置的场 景深度信息； 将所述超分辨 率图像数据以及所述场景深度信息存 储在预设的数据存 储模块中； 获取视频输出指令， 根据所述视频输出指令获取并显示对应的所述超分辨率图像数据 以及所述场景深度信息 。 2.根据权利要求1所述的基于光场的图像处 理方法， 其特 征在于： 将多个所述摄像头的所述初始图像数据进行视角整合包括： 将多个所述摄像头的所述 初始图像数据调整为具有 多个维度的张量的图像数据。 3.根据权利要求2所述的基于光场的图像处 理方法， 其特 征在于： 对视角整合后的图像数据进行密集特征提取包括： 使用密集特征提取模块进行密集特 征提取， 所述密集特征提取模块包括依 次级联的第一空洞空间金字塔池化模块、 第二空洞 空间金字塔池化模块、 第一卷积模块以及残差卷积模块。 4.根据权利要求3所述的基于光场的图像处 理方法， 其特 征在于： 所述第一空洞空间金字塔池化模块与所述第二空洞空间金字塔池化模块的结构相同； 所述第一空洞空间金字塔池化模块包括 三个平行的具有不同膨胀率的膨胀卷积。 5.根据权利要求1至4任一项所述的基于光场的图像处 理方法， 其特 征在于： 将所述浅层特 征经过特征提取与融合包括： 将所述浅层特征分别进行视角间特征提取与视角内部特征提取， 以对每一个视角的高 频信息进 行特征提取和整合， 并对所述视角间特征提取与所述视角内部特征提取获得的特 征信息进行融合。 6.根据权利要求5所述的基于光场的图像处 理方法， 其特 征在于： 所述浅层特征进行视角间特征提取应用视角间特征提取模块实现， 所述视角间特征提 取模块包括依 次级联的第三空间空洞金字塔池化模块、 第一反卷积模块、 第四空间空洞金 字塔池化模块、 第二反卷积模块以及第二卷积模块； 其中， 所述第三空间空洞金字塔池化模块用于提取具有丰富文本信息的差异化特征， 所述第一反卷积模块用于将包含所述差异化特征的特征图映射到高维空间， 所述第四空间 空洞金字塔池化模块用于再次提取差异 化特征， 所述第二反卷积模块用于将高维特征映射 到低维特 征， 所述第二卷积模块用于增 加模型的深度。 7.根据权利要求6所述的基于光场的图像处 理方法， 其特 征在于： 所述浅层特征进行视角内部特征提取应用视角内部特征提取模块实现， 所述视角内部 特征提取模块的结构与所述视角间特征提取模块的结构相同， 所述视角内部特征提取模块 的输入维度不同于所述视角间特 征提取模块的输入维度。 8.根据权利要求5所述的基于光场的图像处 理方法， 其特 征在于： 所述视角间特征提取、 所述视角内部特征提取以及对所述视角间特征提取与 所述视角权　利　要　求　书 1/2 页 2 CN 114897958 A 2内部特征提取获得的特 征信息进行融合的操作循环执 行二次以上。 9.计算机装置， 其特征在于， 包括处理器以及存储器， 所述存储器存储有计算机程序， 所述计算机程序被处理器执行时实现如权利要求1至8 中任意一项所述的基于光场的图像 处理方法的各个步骤。 10.计算机可读存储介质， 其上存储有计算机程序， 其特征在于： 所述计算机程序被处 理器执行时实现如权利要求1至8中任意 一项所述的基于光场的图像处 理方法的各个步骤。权　利　要　求　书 2/2 页 3 CN 114897958 A 3