(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221082732 2.8 (22)申请日 2022.07.13 (71)申请人 东北林业大 学 地址 150040 黑龙江省哈尔滨市香坊区和 兴路26号 (72)发明人 刘亚秋　刘丽娜　吕云蕾　李东　 马丽华　李想　沈晓冉　 (74)专利代理 机构 哈尔滨市伟晨专利代理事务 所(普通合伙) 23209 专利代理师 胡砚智 (51)Int.Cl. G06T 7/593(2017.01) G06V 20/17(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06V 10/766(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种双目视觉立体匹配网络系统及其构建 方法 (57)摘要 一种双目视觉立体匹配网络系统及其构建 方法， 属于场景三维重建技术领域。 为解决现有 立体匹配方法缺少利用环境信息寻找不适定区 域一致性的能力。 本发明包括ResNet网络、 注意 力模块、 匹配代价构建模块、 3DCNN聚合模块、 视 差预测模块； ResNet网络用于对左右图像进行特 征提取， 分别得到初始特征图； 注意力模块包括 空间注意力模块、 通道注意力模块。 空间注意力 模块对初始特征图上的位置特征加权求和， 有选 择地聚合每个位置的特征， 学习上下文关系捕获 长距离依赖， 同时在时间和空间上将整体复杂 度 降低到O(n)。 本发明整合全局环境信息和局部信 息， 获得林业场景像素级特 征的丰富表示。 权利要求书4页 说明书14页 附图3页 CN 115170638 A 2022.10.11 CN 115170638 A 1.一种双目视 觉立体匹配网络构建方法， 其特 征在于： 包括如下步骤： S1、 将左、 右2D图像输入到两个权重共享的RestNet网络进行特征的提取， 分别得到初 始特征图； S2、 注意力模块分别在空间维度和通道维度上自适应的聚合长距离上下文信息， 捕捉 全局上下文之间的长距离依赖， 对特 征进行增强表达； 步骤S2的具体实现方法包括如下步骤： S2.1、 注意力模块中的空间注意力模块提出一种线性注意力Linear ‑Attention对初始 特征图上 的位置特征加权求和， 有选择地聚合每个位置的特征， 学习 上下文关系捕获长距 离依赖， 同时在时间和空间上将Self ‑Attention的整体复杂 度从O(n2)降低到O(n)， 得到空 间注意力特 征图； 步骤S2.1的具体实现方法包括如下步骤： S2.1.1、 将初始特 征图作为空间注意力模块的输入特 征， 表示为： X为空间注意力模块的输入特征， 为空间注意力模块的输入特征集合， H和W分别是特 征图的高和宽， C为 通道的数量； S2.1.2、 将输入特征X分别输入到三个1 ×1的2D卷积层得到： Q＝XWQ， K ＝XWK， V＝XWV Q， K， V分别为输入特征嵌入的查询矩阵、 键矩阵、 值矩阵， WQ为查询学习矩阵， WK为键学 习矩阵， WV为值学习矩阵； S2.1.3、 利用数据重塑函数reshape将 Q， K， V数据重塑为Q， K， n＝1/4H×1/4W为 像素的数量， d＝C为 通道的数量； S2.1.4、 设置两个k ×n维的线性投影矩阵E和F， E， E和F共享参 数， 执行矩阵乘 法QWQ(EKWK)T， 再使用softmax层计算空间注意力特征图， 得到空间注意力特征图 计算公 式如下： 其中， 表示第i个位置对第j个位置的影响； S2.1.5、 将空间注意力 特征图 和FVWV做矩阵乘法并将相乘的结果数据重塑为 然后乘以尺度系数α， 再与空间注意力模块的输入特征X按位相加， 得到最终空间注意力特 征图 计算公式如下： S2.2、 注意力模块中的通道注意力模块使用Self ‑Attention对初始特征图之间的长程 语义依赖关系建模， 学习不同通道特 征之间的关联性， 得到通道 注意力特 征图；权　利　要　求　书 1/4 页 2 CN 115170638 A 2S3、 匹配代价构建模块将空间注意力特征图、 通道注意力特征图构建为四维匹配代价 卷； S4、 3DCNN聚合模块对匹配代价卷进行正则化调整在视差维度和空间维度上聚合语义 和结构特 征信息， 来预测精准匹配代价卷； S5、 视差预测模块对3DCNN输出的精准匹配代价卷利用Softmax函数将其转换为概率 体， 然后利用Soft Argmin函数将概 率体转化为视差图。 2.根据权利要求1所述的一种双目视觉立体匹配网络构建方法， 其特征在于： 步骤S1中 ResNet特征提取， 第一级卷积层conv0_1， conv0_2， conv0_3采用3个3*3卷积核级联获取图 像浅层特征， 输出特征图尺寸为原图1/2； 第二级卷积层conv1_x， conv2_x， conv3_x， conv4_ x提取深层语义特征， 在conv0_1和conv2_1层中采用了步长为2的下采样， 在conv3_x， conv4_x层使用空洞卷积扩大感受野， 最终得到初始特征图的输出尺寸为1/4H ×1/4W× 128， H为图像的高， W 为图像的宽 。 3.根据权利要求2所述的一种双目视觉立体匹配网络构建方法， 其特征在于： 步骤S2.2 的具体实现方法包括如下步骤： S2.2.1、 将初始特 征图作为 通道注意力模块的输入特 征， 表示为： X为通道注意力模块的输入特征， 为通道注意力模块的输入特征集合， C为通道的数 量； S2.2.2、 设置X＝Q'＝K'＝V'， 重塑Q'， K'， Q'为数据重塑后的查询矩阵， K'为 数据重塑后的键矩阵， V'为数据重塑后的值矩阵， 其中， n ＝1/4H×1/4W， d＝C； S2.2.3、 将Q'T和K'做矩阵乘法， 使用softmax层获得通道相关矩阵 计算公式如 下： P′ji表示第i个通道对第j个通道的影响； S2.2.4、 将V'与P'作矩阵乘法得到 的特征图， 将其数据重塑成 然后乘以尺 度系数β， 再与原特 征图X按位相加， 最后得到通道 注意力特 征图 计算公式如下： 4.根据权利要求3所述的一种双目视觉立体匹配网络构建方法， 其特征在于： 步骤S3级 联conv2_16特征图， conv4_3特征图， 空间注意力特征图， 通道注意力特征图的低级结构信 息、 高级语义信息、 全局信息和局部信息构建1/4H ×1/4w×320尺寸的特征图， 经过2D的两 个权值共享的卷积层融合特征图将通道压缩到32， 将2D的左特征图和每个视差对应下的右 特征图连接起 来形成1/4D ×1/4H×1/4W×64的四维匹配代价卷。 5.根据权利要求4所述的一种双目视觉立体匹配网络构建方法， 其特征在于： 步骤S4的 具体实现方法包括如下步骤：权　利　要　求　书 2/4 页 3 CN 115170638 A 3