(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221016280 5.0 (22)申请日 2022.02.22 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 唐小初　张祎頔　舒畅　陈又新　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 廖慧贤 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 3/40(2006.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 视差图生 成方法和装置、 电子 设备及存储介 质 (57)摘要 本申请实施例提供了一种视差图生成方法 和装置、 电子设备及存储介质， 属于人工智 能技 术领域。 该方法包括： 获取目标图像， 其中， 目标 图像包括左视图和右视图； 对左视图进行特征提 取， 得到多个左视图特征， 并对右视图进行特征 提取， 得到多个右视图特征； 对左视图特征进行 图像分割处理， 得到第一图像特征； 对左视图特 征、 第一图像特征以及右视图特征进行组合处 理， 得到目标代价体； 通过预设的三维卷积沙漏 模型对目标代 价体进行视差估计， 得到估计视差 图； 通过预设的语义细化网络和第一图像特征对 估计视差图进行语义细化处理， 得到目标视差 图。 本申请实施例能够提高视差估计的准确性， 减小目标视 差图的误差 。 权利要求书2页 说明书14页 附图5页 CN 114519710 A 2022.05.20 CN 114519710 A 1.一种视 差图生成方法， 其特 征在于， 所述方法包括： 获取目标图像， 其中， 所述目标图像包括左视图和右视图； 对所述左视图进行特征提取， 得到多个左视图特征， 并对所述右视图进行特征提取， 得 到多个右视图特 征； 对所述左视图特 征进行图像分割处 理， 得到第一图像特 征； 对所述左视 图特征、 所述第一图像特征以及所述右视 图特征进行组合处理， 得到目标 代价体； 通过预设的三维卷积沙漏模型对所述目标代价体进行视 差估计， 得到估计视 差图； 通过预设的语义细化网络和所述第 一图像特征对所述估计视差图进行语义细化处理， 得到目标视 差图。 2.根据权利要求1所述的视差图生成方法， 其特征在于， 所述对所述左 视图进行特征提 取， 得到多个左视图特征， 并对所述右视图进行特征提取， 得到多个右视图特征的步骤， 包 括： 对所述左视图进行卷积处理， 得到左视图卷积特征， 并对所述右视图进行卷积处理， 得 到右视图卷积特 征； 根据预设的多尺度特征分辨率参数， 对所述左视 图卷积特征进行金字塔池化处理， 得 到所述多个左视图特征， 并根据所述多尺度特征分辨率参数， 对所述右视图卷积特征进行 金字塔池化处 理， 得到所述多个右视图特 征。 3.根据权利要求1所述的视差图生成方法， 其特征在于， 所述对所述左 视图特征进行图 像分割处 理， 得到第一图像特 征的步骤， 包括： 通过预设的双线性峰插法对所述左 视图特征进行上采样处理， 得到第 一视图特征隐变 量； 通过预设的第 一函数对所述第 一视图特征隐变量进行特征排序， 得到第 一视图特征序 列； 对所述第一视图特 征序列进行 卷积处理， 得到所述第一图像特 征。 4.根据权利要求1所述的视差 图生成方法， 其特征在于， 所述对所述左视 图特征、 所述 第一图像特 征以及所述右视图特 征进行组合处 理， 得到目标代价体的步骤， 包括： 根据预设的多尺度特征分辨率参数， 对所述左视图特征和所述右视图特征进行分类组 合处理， 得到初始 代价体； 通过预设的三维卷积网络对所述初始代价体、 所述第一图像特征进行拼接处理， 得到 所述目标代价体。 5.根据权利要求4所述的视差图生成方法， 其特征在于， 所述通过预设的三维卷积网络 对所述初始 代价体、 所述第一图像特 征进行拼接处 理， 得到所述目标代价体的步骤， 包括： 通过所述三维卷积网络对所述初始代价体进行正则化处理， 得到第一中间代价体， 并 通过所述三维卷积网络对所述第一图像特 征进行正则化处 理， 得到第一中间图像特 征； 通过所述三维卷积网络对所述第一中间代价体进行下采样处理， 得到第二中间代价 体， 并对所述第一中间图像特 征进行上采样处 理， 得到第二中间图像特 征； 通过所述三维卷积网络对所述第二中间代价体与所述第二中间图像特征进行拼接处 理， 得到所述目标代价体。权　利　要　求　书 1/2 页 2 CN 114519710 A 26.根据权利要求1所述的视差图生成方法， 其特征在于， 所述三维卷积沙漏模型包括 聚 合层、 预测层， 所述通过预设的三 维卷积沙漏模型对所述目标代价体进 行视差估计， 得到估 计视差图的步骤， 包括： 通过所述聚合层对所述目标代价体进行代价聚合处 理， 得到融合代价体； 通过所述预测层的第二 函数对所述融合代价体进行视 差估计， 得到所述估计视 差图。 7.根据权利要求1至6任一项所述的视差 图生成方法， 其特征在于， 所述通过预设的语 义细化网络和所述第一图像特征对所述估计视差图进 行语义细化处理， 得到目标视差图的 步骤， 包括： 通过所述语义细化网络的第 三函数对所述第 一图像特征进行概率计算， 生成语义概率 图； 通过所述语义细化网络对所述估计视 差图进行 卷积处理， 得到估计视 差特征； 通过所述语义细化网络对所述语义概率图和所述估计视差特征进行融合处理， 得到初 步视差特征； 通过所述语义细化网络对所述初步视 差特征进行解码处 理， 得到所述目标视 差图。 8.一种视 差图生成装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取目标图像， 其中， 所述目标图像包括左视图和右视图； 特征提取模块， 用于对所述左视图进行特征提取， 得到多个左视图特征， 并对所述右视 图进行特征提取， 得到多个右视图特 征； 图像分割模块， 用于对所述左视图特 征进行图像分割处 理， 得到第一图像特 征； 融合模块， 用于对所述左视 图特征、 所述第一图像特征以及所述右视 图特征进行组合 处理， 得到目标代价体； 视差估计模块， 用于通过预设的三维卷积沙漏模型对所述目标代价体进行视差估计， 得到估计视 差图； 语义细化模块， 用于通过预设的语义细化网络和所述第 一图像特征对所述估计视差图 进行语义细化处 理， 得到目标视 差图。 9.一种电子设备， 其特征在于， 所述电子设备包括存储器、 处理器、 存储在所述存储器 上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通 信的数据总线， 所述程序被所述处理器执行时实现如权利要求1至7任一项所述的视差图生 成方法的步骤。 10.一种存储介质， 所述存储介质为计算机可读存储介质， 用于计算机可读存储， 其特 征在于， 所述存储介质存储有一个或者多个程序， 所述一个或者多个程序可被一个或者多 个处理器执行， 以实现权利要求1至7中任一项所述的视 差图生成方法的步骤。权　利　要　求　书 2/2 页 3 CN 114519710 A 3