(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210860605.2 (22)申请日 2022.07.21 (71)申请人 山东大学 地址 250101 山东省济南市高新区舜华路 1500号 (72)发明人 高艳博　杨永辉　李帅　蔡珣　 周元峰　张欣欣　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫伟姣 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/80(2022.01) (54)发明名称 一种融合视图合成的深度图超分辨率方法 及系统 (57)摘要 本发明属于图像处理技术领域， 提供了一种 融合视图合成的深度图超分辨率方法及系统， 包 括： 获取低分辨率深度图； 依据获取的低分辨率 深度图， 以及优化后的超分网络， 得到高低分辨 率深度图； 本发 明中使用由高分辨率深度真值图 进行视图合成得到的目标视点的彩色图片作为 彩色图像的真值； 通过比较 彩色图像的真值与预 测得到的网络重构深度图生成的目标视点的彩 色图像之间的差异来优化超分网络， 得到优化后 的超分网络， 解决了高分辨率彩色图像只是用来 提取特征和深度图的特征进行融合的问题， 提高 了超分网络的精度及深度图超分辨 率的效果。 权利要求书2页 说明书6页 附图2页 CN 115239559 A 2022.10.25 CN 115239559 A 1.一种融合视图合成的深度图超分辨 率方法， 其特 征在于， 包括： 获取低分辨 率深度图； 依据获取的低分辨 率深度图， 以及优化后的超分网络， 得到高低分辨 率深度图； 其中， 使用由高分辨率深度真值图进行视图合成得到的目标视点的彩色图片作为彩色 图像的真值； 通过比较彩色图像的真值与预测得到的网络重构深度图生成的目标视点的彩 色图像之间的差异来优化超分网络， 得到优化后的超分网络 。 2.如权利要求1所述的一种融合视图合成的深度图超分辨率方法， 其特征在于， 使用高 分辨率深度真值图和彩色图像生成一个彩色图像作为监督信号， 在视图合成过程中使用的 相机参数为随机生成的， 然后对由超分 网络生成的深度图使用相同的相机参数生成目标试 点的彩色图片。 3.如权利要求2所述的一种融合视图合成的深度图超分辨率方法， 其特征在于， 采用前 向溅射技术来实现视图合成， 在前向溅射中， 多个源像素对单个目标像素做出贡献。 4.如权利要求3所述的一种融合视图合成的深度图超分辨率方法， 其特征在于， 目标视 点像素值的计算过程 为： 其中， It和Is分别代表原视点和目标视点的彩色图像； ps代表原视图中像素的坐标； ωb 代表像素点溅射到周围多个像素的权重值， 即 分别代表向下向上 取整操作。 5.如权利要求1所述的一种融合视图合成的深度图超分辨率方法， 其特征在于， 优化后 的超分网络采用的重构损失为： 其中， 和 为被遮罩后的图像， M(p)＝m1(p)*m2(p)， 为真实深度图生成的目标视点彩色图像； 为预测得到的目 标视点的彩色图像。 6.如权利要求5所述的一种融合视图合成的深度图超分辨率方法， 其特征在于， 对经过 视图合成得到的目标视点的彩色图片进行多次下采样操作， 计算多尺度的重构损失， 总的 重构损失是每 个尺度上重构损失的组合。 7.如权利要求5所述的一种融合视图合成的深度图超分辨率方法， 其特征在于， 使用视 图合成时， 使用多个相机 之间的相对姿态， 这些相机姿态随机在不同的区间内取值， 合 成多 个不同视点的目标图像。 8.一种融合视图合成的深度图超分辨 率系统， 其特 征在于， 包括： 数据采集模块， 被 配置为： 获取低分辨 率深度图； 超分模块， 被配置为： 依据获取的低分辨率深度图， 以及优化后的超分网络， 得到高低 分辨率深度图； 其中， 使用由高分辨率深度真值图进行视图合成得到的目标视点的彩色图片作为彩色权　利　要　求　书 1/2 页 2 CN 115239559 A 2图像的真值； 通过比较彩色图像的真值与预测得到的网络重构深度图生成的目标视点的彩 色图像之间的差异来优化超分网络， 得到优化后的超分网络 。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现了如权利要求1 ‑7任一项所述的融合视图合成的深度图超分辨 率方法的步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现了如权利要求 1‑7任一项所述的融合 视图合成的深度图超分辨 率方法的步骤。权　利　要　求　书 2/2 页 3 CN 115239559 A 3