(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211087276.9 (22)申请日 2022.09.07 (65)同一申请的已公布的文献号 申请公布号 CN 115170746 A (43)申请公布日 2022.10.11 (73)专利权人 中南大学 地址 410000 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 任胜兵　彭泽文　陈旭洋　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 王浩 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/04(2006.01)G06T 7/55(2017.01) G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 20/70(2022.01) 审查员 王艳丽 (54)发明名称 一种基于深度学习的多视图三 维重建方法、 系统及设备 (57)摘要 本发明公开了一种基于深度学习的多视图 三维重建方法、 系统及设备， 获取多张多视角图 像， 对多张多视角图像进行多尺度语义特征提 取， 获得多种尺度的特征图； 对多种尺度的特征 图进行多尺度语义分割， 获得多种尺度的语义分 割集； 通过有监督的三维重建方法对多张多视角 图像进行重建， 获得初始深度图； 基于多种尺度 的语义分割集和初始深度图， 获得多种尺度的深 度图； 构建多种尺度的点云集； 对多种尺度的点 云集采用不同的半径滤波进行优化， 获得优化后 的点云集； 基于优化后的点云集进行不同尺度的 重建， 获得不同尺度的三维重建结果； 将每种尺 度的三维重建结果进行拼接融合。 本发明能够充 分利用各个尺度的语义信息， 能够提高三维重建 的精确度。 权利要求书4页 说明书13页 附图4页 CN 115170746 B 2022.11.22 CN 115170746 B 1.一种基于深度学习的多视图三维重建方法， 其特征在于， 所述基于深度学习的多视 图三维重建方法包括： 获取多张多视角图像， 对多张所述多视角图像进行多尺度语义特征提取， 获得多种尺 度的特征图； 对所述多种尺度的特 征图进行多尺度语义分割， 获得多种尺度的语义分割集； 通过有监 督的三维重建方法对多张所述多视角图像进行重建， 获得初始深度图； 基于所述多种尺度的语义分割集和所述初始深度图， 获得多种尺度的深度图， 具体为： 选取多张所述多视角图像中的任一张作为 参考图， 其他作为待匹配图； 从所述参考图中选取参考点， 并获取所述参考点在所述语义分割集中对应的语义类 别， 以及获取 所述参考点在所述初始深度图上对应的深度值； 通过如下公式选取 所述参考点的数目： 其中， 表示第j个分割集选取的参考点 数目， H表示 所述多视角图像的高度， W表示所 述多视角图像的宽度， H W表示所述多 视角图像的像素点数量， t表示一个常量参 数， 表示 第j个所述语义分割集所含的语义类别数， 表示第i个所述语义分割集所含的语义类别 数， n表示所述语义分割集的总数量； 基于每个所述参考点， 通过如下公式获取每个所述参考点在所述待匹配图上的匹配 点： 其中， 表示第i个参考点在所述待匹配图上的匹配点， K表示相机的内参， T表示所述 相机的外参， 表示所述 参考图中的参 考点Pi在所述初始深度图上对应的深度值； 获取每个所述匹配点对应的语义类别， 通过最小化语义损失函数对每种尺度的所述多 视角图像进行修 正， 获得所述多种尺度的深度图， 所述语义损失函数 的计算公式如下： 其中， 表示第i个所述参考点的语义信息和第i个所述匹配点的语义信息的差 别， Mi表示掩膜， N表示所述 参考点的数目； 基于所述多种尺度的深度图， 构建多种尺度的点云集； 根据所述点云集的尺度， 对所述多种尺度的点云集采用不同的半径滤波进行优化， 获 得优化后的点云集；权　利　要　求　书 1/4 页 2 CN 115170746 B 2基于所述优化后的点云集进行不同尺度的重建， 获得不同尺度的三维重建结果； 将每种尺度的三维重建结果进行拼接融合， 获得最终的三维重建结果。 2.根据权利要求1所述的基于深度学习的多视图三维重建方法， 其特征在于， 所述对多 张所述多视角图像进行多尺度语义特 征提取， 获得多种尺度的特 征图， 包括： 通过ResNet网络对多张所述多视角图像进行多层特征提取， 获得多种 尺度的原始特征 图； 将每种尺度的所述原始特征图分别与通道注意力连接， 以通过通道注意力 机制对每种 尺度的所述原 始特征图进行重要性加权， 获得多种尺度的特 征图。 3.根据权利要求2所述的基于深度学习的多视图三维重建方法， 其特征在于， 所述通过 通道注意力机制对每种尺度的所述原始特征图进行重要性加权， 获得多种尺度的特征图， 包括： 将每种尺度的所述原始特征图通过压缩 网络进行压缩， 获得每种尺度的所述原始特征 图对应的一维特 征图； 将所述一维特征图通过激励网络输入全连接层进行重要性预测， 获得每个通道的重要 性大小； 将所述每个通道的重要性大小通过激励函数激励到每种尺度的所述原始特征图的一 维特征图上， 获得多种尺度的特 征图。 4.根据权利要求1所述的基于深度学习的多视图三维重建方法， 其特征在于， 所述对所 述多种尺度的特 征图进行多尺度语义分割， 获得多种尺度的语义分割集， 包括： 将所述多种尺度的特征图通过非负矩阵分解进行聚类， 获得多种尺度的语义分割集； 其中， 所述非负矩阵分解的表达式为： 其中， V表示将多种 尺度的特征图映射串联并重塑为HW行C列的矩阵V， P表示HW行K列的 矩阵， Q表示K行C列的矩阵， H表示系数矩阵， W表示基矩阵， K表示语义簇数的非负矩阵分解 因子， C表示每 个像素的维度， F表示采用非诱 导范数。 5.根据权利要求1所述的基于深度学习的多视图三维重建方法， 其特征在于， 所述基于 所述多种尺度的深度图， 构建多种尺度的点云集， 包括： 将每种尺度的深度图， 通过如下表达式构建每种尺度的点云集： 其中， 表示所述深度图的横坐标， 表示所述深度图的纵坐标， 和 表示根据 相机参数 所获得的相机焦距， x、 y和z表示 点云转化的点云坐标。权　利　要　求　书 2/4 页 3 CN 115170746 B 3