(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210709579.3 (22)申请日 2022.06.22 (71)申请人 北京中科慧眼科技有限公司 地址 100085 北京市海淀区创业中路32号 楼32-1-1- 559 (72)发明人 葛方海　杨超　朱海涛　刘永才　 王鹏　 (74)专利代理 机构 北京远立知识产权代理事务 所(普通合伙) 11502 专利代理师 李海燕 (51)Int.Cl. G06T 7/593(2017.01) G06T 7/73(2017.01) G06T 7/33(2017.01) G06N 3/04(2006.01)G06T 5/20(2006.01) (54)发明名称 基于双目相机的立体匹配方法和系统 (57)摘要 本发明公开了一种基于双目相机的立体匹 配方法和系统， 所述方法包括： 采集目标区域内 的连续多帧左右目图像； 对各所述左右目图像进 行视差匹配代 价计算， 以得到多个视差匹配代价 值； 对各所述视差匹配代价值进行多个方向的聚 合， 并通过argmax （最大值自变量点集） 计算， 以 得到最大视差匹配代价值所对应的视差图； 将所 述视差图进行归一化处理， 并进行亚像素视差计 算， 以得到立体匹配结果。 实现了深度学习芯片 中的有效部署， 并满足时间和 效果， 具有更好的 泛化能力， 并且在亚像素精度中效果更好， 提高 了立体匹配的算法精度和泛化能力， 从而为提高 自动驾驶数据准确性 提供了算法基础。 权利要求书2页 说明书7页 附图1页 CN 114926521 A 2022.08.19 CN 114926521 A 1.一种基于双目相机的立体匹配方法， 其特 征在于， 所述方法包括： 采集目标区域内的连续多帧左右目图像； 对各所述左右目图像进行视 差匹配代价计算， 以得到多个视 差匹配代价 值； 对各所述视差匹配代价值进行多个方向的聚合， 并通过最大值自变量点集计算， 以得 到最大视 差匹配代价 值所对应的视 差图； 将所述视 差图进行归一 化处理， 并进行亚像素视 差计算， 以得到立体匹配结果。 2.根据权利要求1所述的立体匹配方法， 其特征在于， 采集目标区域内的连续多帧左右 目图像， 之后还 包括： 使用深度 学习网络的卷积算子对所述左右目图像进行高斯滤波计算， 以提取图像的高 维特征信息， 提高匹配代价计算的准确性。 3.根据权利要求1所述的立体匹配方法， 其特征在于， 利用以下公式， 对各所述左右目 图像进行视 差匹配代价计算： 其中， x为左目图像像素点 的灰度值， y为右目图像像素点的灰度值， 是x的平均值， 是y平均值， 是x的方差， 是y的方差， 是x和y的协方差， 和 为常数。 4.根据权利要求3所述的立体匹配方法， 其特 征在于， 利用以下公式计算常数 和 ： 其中， L是像素值的动态范围， ， 。 5.根据权利要求1所述的立体匹配方法， 其特征在于， 利用以下公式， 对各所述视差匹 配代价值进行多个方向的聚合： 其中， 表示在r传播方 向上的聚合代价值， r表示传播方 向， 表示匹配代价 值， 表示在r传播方向上p像 素点在d视差上的聚合代价值， 表 示在r传播方向上p像素点的前一个像素点在 d视差上的聚合代价， 表 示在r传播方向上p像素点的前一个像素点在d ‑1视差上的聚合代价， 表权　利　要　求　书 1/2 页 2 CN 114926521 A 2示在r传播方向上p像素点 的前一个像素点在d+1视差上的聚合代价， 表示在r传播方向上p像素点的前一个像素点在所有视差中聚合代 价最小的视差i的聚合代 价， P1， P2 表示惩罚项。 6.根据权利要求1所述的立体匹配方法， 其特征在于， 所述将所述视差图进行归一化处 理， 并进行亚像素视 差计算， 以得到立体匹配结果， 具体包括： 基于所述视差图， 针对每一个像素点使用softmax归一化处理， 得到与 位置对应的归一 化结果； 使用每个点的视 差值乘以对应位置的归一 化结果， 以得到亚像素视 差值； 以所述亚像素视 差值作为 立体匹配结果。 7.一种基于双目相机的立体匹配系统， 其特 征在于， 所述系统包括： 图像采集单 元， 用于采集目标区域内的连续多帧左右目图像； 代价值计算单元， 用于对各所述左右目图像进行视差匹配代价计算， 以得到多个视差 匹配代价 值； 代价值聚合单元， 用于对各所述视差匹配代价值进行多个方向的聚合， 并通过最大值 自变量点集计算， 以得到最大视 差匹配代价 值所对应的视 差图； 结果输出单元， 用于将所述视差图进行归一化处理， 并进行亚像素视差计算， 以得到立 体匹配结果。 8.根据权利要求7 所述的立体匹配系统， 其特 征在于， 图像采集单 元具体用于： 使用深度 学习网络的卷积算子对所述左右目图像进行高斯滤波计算， 以提取图像的高 维特征信息， 提高匹配代价计算的准确性。 9.一种智能终端， 其特 征在于， 所述智能终端包括： 数据采集装置、 处 理器和存 储器； 所述数据采集装置用于采集数据； 所述存储器用于存储一个或多个程序指令； 所述处 理器， 用于执 行一个或多个程序指令， 用以执 行如权利要求1 ‑6任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中包含一个或多 个程序指令， 所述 一个或多个程序指令用于执 行如权利要求1 ‑6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114926521 A 3