(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210689258.1 (22)申请日 2022.06.17 (71)申请人 五邑大学 地址 529000 广东省江门市蓬江区东成村 22号 申请人 中德 （珠海） 人工智能研究院有限公 司 (72)发明人 常青玲　崔岩　李敏华　徐世廷　 戴成林　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 冯健良 (51)Int.Cl. G06T 7/593(2017.01) G06T 7/80(2017.01)G06V 10/44(2022.01) G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 混合代价体的双目立体匹配方法、 设备及存 储介质 (57)摘要 本发明公开了一种混合代价体的双目立体 匹配方法、 设备及存储介质， 方法包括： 获取左右 立体图像对； 对左右立体图像对进行多尺度特征 提取， 得到多个尺度下的特征图对； 根据各个尺 度下的特征图对， 构建对应尺度的3D匹配代价体 和4D匹配代价体； 将4D匹配代价体聚合压缩至与 3D匹配代价体的尺寸相等， 得到4D压缩代价体； 将对应尺度的4D压缩代价体与3D匹配代价体进 行连接， 得到多个尺度下的混合匹配代价体； 将 混合匹配代价体输入2D代价聚合模型中进行视 差计算， 得到视差图。 本发明通过构建多尺度的 3D匹配代价体和4D匹配代价体， 得到多个尺度下 的混合匹配代价体， 估计性能高， 通过2D代价体 聚合模型聚合， 可有效减少运 算量。 权利要求书2页 说明书8页 附图7页 CN 115170636 A 2022.10.11 CN 115170636 A 1.一种混合代价体的双目立体匹配方法， 其特 征在于， 包括： 获取左右立体图像对； 对所述左右立体图像对进行多尺度特 征提取， 得到多个尺度下的特 征图对； 根据各个尺度下的所述特 征图对， 构建对应尺度的3D匹配代价体和4D匹配代价体； 将所述4D匹配代价体聚合压缩至与所述3D匹配代价体的尺寸相等， 得到4D压缩代价 体； 将对应尺度的所述4D压缩代价体与所述3D匹配代价体进行连接， 得到多个尺度下的混 合匹配代价体； 将所述混合匹配代价体输入2D代价聚合模型中进行视 差计算， 得到 视差图。 2.根据权利要求1所述的一种混合代价体的双目立体匹配方法， 其特征在于， 所述对所 述左右立体图像对进行多尺度特 征提取， 得到多个尺度下的特 征图对， 包括： 对所述左右立体图像对进行 下采样， 得到第一采样图对； 对所述第一采样图对进行多尺度特 征提取， 得到多个初始特 征图对； 将每一所述初始特 征图对进行 连接， 得到第一尺度特 征图对； 通过残差块对所述第 一尺度特征图对进行特征提取， 得到第 二尺度特征图对和第 三尺 度特征图对。 3.根据权利要求1所述的一种混合代价体的双目立体匹配方法， 其特征在于， 所述构建 对应尺度的3D匹配代价体， 包括： 根据所述左右立体图像对计算得到 视图相关度； 根据所述视图相关度和各个尺度下的所述特征图对， 构建得到对应尺度的所述3D匹配 代价体， 其中， 所述3D匹配代价体的尺寸 为D×H×W， D表示视 差范围， H ×W表示空间大小。 4.根据权利要求3所述的一种混合代价体的双目立体匹配方法， 其特征在于， 所述构建 对应尺度的4D匹配代价体， 包括： 将各个尺度下的所述特征图对进行连接， 得到对应尺度的所述4D匹配代价体， 其中， 所 述4D匹配代价体的尺寸 为C×D×H×W， C表示特 征连接后的通道数。 5.根据权利要求4所述的一种混合代价体的双目立体匹配方法， 其特征在于， 所述将所 述4D匹配代价体聚合压缩至与所述3D匹配代价体的尺寸相等， 得到4D压缩代价体， 包括： 通过3D卷积模块将所述 4D匹配代价体进行聚合， 得到4D聚合代价体； 将所述4D聚合代价体压缩至与所述3D匹配代价体的尺寸相等， 得到所述4D压缩代价 体。 6.根据权利要求5所述的一种混合代价体的双目立体匹配方法， 其特征在于， 所述将对 应尺度的所述4D 压缩代价体与所述3D匹配代价体进 行连接， 得到多个尺度下的混合匹配代 价体， 包括： 将第一尺度下的所述4D压缩代价体与所述3D匹配代价体进行连接， 得到第一尺度对应 的第一混合匹配代价体； 将第二尺度下的所述4D压缩代价体与所述3D匹配代价体进行连接， 得到第二尺度对应 的第二混合匹配代价体； 将第三尺度下的所述4D压缩代价体与所述3D匹配代价体进行连接， 得到第三尺度对应 的第三混合匹配代价体。权　利　要　求　书 1/2 页 2 CN 115170636 A 27.根据权利要求6所述的一种混合代价体的双目立体匹配方法， 其特征在于， 所述将所 述混合匹配代价体输入2D代价聚合模型中进行视 差计算， 得到 视差图， 包括： 通过所述2D代价聚合模型中的第一2D卷积模块对所述第一混合匹配代价体进行正则 化， 得到正则化代价体； 通过所述2D代价聚合模型将所述正则化代价体进行下采样， 得到第 二尺度下的第一采 样代价体； 通过所述2D代价聚合模型将所述第一采样代价体与所述第二混合匹配代价体进行连 接， 得到第一连接代价体； 通过所述2D代价聚合模型中的第二2D卷积模块将所述第一连接代价体的特征通道数 降低至指定值， 得到低通道 代价体； 通过所述2D代价聚合模型将所述低 通道代价体进行下采样， 得到第 三尺度下的第二采 样代价体； 通过所述2D代价聚合模型将第 二采样代价体与所述第 三混合匹配代价体进行连接， 得 到第二连接代价体； 通过所述2D代价聚合模型中的通过第三2D卷积模块将所述第二连接代价体进行上采 样， 得到第一尺度下的第三采样代价体； 通过所述2D代价聚合模型对所述第三采样代价体 计算视差， 得到所述视 差图。 8.根据权利要求7所述的一种混合代价体的双目立体匹配方法， 其特征在于， 所述通过 所述2D代价聚合模型对所述第三采样代价体 计算视差， 得到所述视 差图， 包括： 将所述第三采样代价体进行双线性插值后输入到所述2D代价聚合模型中的视差回归 模块， 得到所述视 差图。 9.一种电子设备， 其特 征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序， 所述 处理器执行所述计算机程序时实现如权利要求1至8 中任意一项所述的一种混合代价体的 双目立体匹配方法。 10.一种计算机存储介质， 其特征在于， 存储有计算机可执行指令， 所述计算机可执行 指令用于执 行权利要求1至8中任意 一项所述的一种混合代价体的双目立体匹配方法。权　利　要　求　书 2/2 页 3 CN 115170636 A 3