(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210848854.X (22)申请日 2022.07.19 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 郑庆祥　金积德　耿宏凯　徐嘉伟　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06T 7/55(2017.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种稀疏图像深度补全方法、 系统及设备 (57)摘要 本发明公开了一种稀疏图像深度补全 方法、 系统及设备， 首先通过摄像头获取待处理图像的 RGB图像数据， 通过激光雷达获取待处理图像的 稀疏深度数据dept h； RGB图像 数据通过语义 分割 网络生成待处理图像的语义图像数据semantic； 然后将RGB图像数据、 语义图像数据semantic和 稀疏深度数据depth输入稀 疏图像深度补全网络 中， 获得最终的深度补全结果； 本发明的稀疏图 像深度补全网络， 包括RGB图像特征提取模块、 语 义图像特征提取模块、 稀疏深度特征提取模块、 MAFF特征融合模块和加权融合模块； 实验表明这 种稀疏图像深度补全网络具有更高的精度。 权利要求书5页 说明书8页 附图4页 CN 115330850 A 2022.11.11 CN 115330850 A 1.一种稀疏图像深度补全方法， 其特 征在于， 包括以下步骤： 步骤1： 通过摄像头获取待处理图像的RGB图像数据， 通过激光雷达获取待处理图像的 稀疏深度数据depth； 所述 RGB图像数据通过语义分割网络生 成待处理图像的语义图像数据 semantic； 步骤2： 将RGB图像数据、 语义图像数据semantic和稀疏深度数据depth输入所述稀疏图 像深度补全网络中， 获得最终的深度补全结果； 所述稀疏图像深度补全网络， 包括RGB图像特征提取模块、 语义 图像特征提取模块、 稀 疏深度特 征提取模块、 MAF F特征融合模块和 加权融合模块； 所述RGB图像特征提取模块， 输入为RGB图像数据和稀疏深度数据depth， 输出深度补全 中间结果C ‑depth和置信权 重C‑confidence； 所述语义图像特征提取模块， 输入为语义图像数据semantic、 稀疏深度数据depth和C ‑ depth， 输出深度补全中间结果S ‑depth和置信权 重S‑confidence； 所述稀疏深度特征提取模块， 输入为稀疏深度数据depth、 C ‑depth和S ‑depth， 输出深 度补全中间结果D ‑depth和置信权 重D‑confidence； 所述MAFF特征融合模块， 用于语义图像特征提取模块和稀疏深度特征提取模块中将语 义图像特 征、 RGB图像特 征和稀疏深度特 征融合； 所述加权融合模块， 用于将所述RGB图像特征提取模块、 语义图像特征提取模块、 稀疏 深度特征提取模块输出加权融合。 2.根据权利要求1所述的稀疏图像深度补全方法， 其特征在于： 所述RGB图像特征提取 模块包括顺序连接的第0个常规卷积层、 第1个残差卷积模块、 第2个残差卷积模块、 第3个残 差卷积模块、 第4个残差卷积模块、 第5个残差卷积模块、 第1个反卷积模块、 第2个反卷积模 块、 第3个反卷积模块、 第4个反卷积模块、 第5个反卷积模块、 第6个残差卷积模块、 第7个残 差卷积模块、 第 8个残差卷积模块、 第9个残差卷积模块、 第10个残差卷积模块、 第6个 反卷积 模块、 第7个 反卷积模块、 第 8个反卷积模块、 第9个反卷积模块、 第10个反卷积模块、 第1个常 规卷积输出层， 每层分别得到大小为1216 ×320×32的特征图cd_0、 608 ×160×64的特征图 cd_1、 304 ×80×128的特征图cd_2、 152 ×40×256的特征图cd_3、 76 ×20×512的特征图cd_ 4、 38×10×1024的特征图cd_5、 76 ×20×512的反卷积特征图d_cd_1、 152 ×40×256的反卷 积特征图d_cd_2、 304 ×80×128的反卷积特征图d_cd_3、 608 ×160×64的反卷积特征图d_ cd_4、 1216 ×320×32的反卷积特征图d_cd_5、 608 ×160×64的特征图cd_6、 304 ×80×128 的特征图cd_7、 152 ×40×256的特征图cd_8、 76 ×20×512的特征图cd_9、 38 ×10×1024的 特征图cd_10、 76 ×20×512的反卷积特征图d_cd_6、 152 ×40×256的反卷积特征图d_cd_7、 304×80×128的反卷积特征图d_cd_8、 608 ×160×64的反卷积特征图d_cd_9、 1216 ×320× 32的反卷积特征图d_cd_10， cd_1与d_cd_4、 cd_2与d_cd_3、 cd_3与d_cd_2、 cd_4与d_cd_1、 cd_0与d_cd_5对应相加， 产生大小不变的第一新特征图、 第二新特征图、 第三新特征图、 第 四新特征图、 第五新特征图； 第一新特征图与cd_6、 第二新特征图与cd_7、 第三新特征图与 cd_8、 第四新特征图与c d_9对应相加， 产生大小不变的第六新特征图、 第七新特征图、 第 八 新特征图、 第九新特征图； 第九新特征图与d_cd_6、 第八新特征图与d_cd_7、 第七新特征图 与d_cd_8、 第 六新特征图与d_cd_9、 第五新特征图与d_cd_10对应相加， 产生大小不变的第 十新特征图、 第十一新特征图、 第十二新特征图、 第十四新特征图、 第十四新特征图， 第一至权　利　要　求　书 1/5 页 2 CN 115330850 A 2第十三特征图依次作为第5个反卷积模块、 第4个反卷积模块、 第3个反卷积模块、 第2个反卷 积模块、 第6残差卷积模块、 第7残差卷积模块、 第 8残差卷积模块、 第9残差卷积模块、 第10残 差卷积模块、 第6个反卷积模块、 第7个反卷积模块、 第 8个反卷积模块、 第9个反卷积模块、 第 10反卷积模块的输入继续参与向前传播； 最终第一个 常规卷积层输出大小为 1216×352×1 的置信权 重C‑confidence和大小为1216 ×352×1的深度补全中间结果C ‑depth。 3.根据权利要求1所述的稀疏图像深度补全方法， 其特征在于： 所述语义图像特征提取 模块包括顺序连接的第0个常规卷积层、 第1个融合模块、 第1个残差卷积模块、 第2个融合模 块、 第2个残差卷积模块、 第3个融合模块、 第3个残差卷积模块、 第4个融合模块、 第4个残差 卷积模块、 第5个融合模块、 第5个残差卷积模块、 第1个反卷积模块、 第2个反卷积模块、 第3 个反卷积模块、 第4个反卷积模块、 第5个反卷积模块、 第6个残差卷积模块、 第7个残差卷积 模块、 第8个残差卷积模块、 第9个残差卷积模块、 第10个残差卷积模块、 第6个反卷积模块、 第7个反卷积模块、 第 8个反卷积模块、 第9个反卷积模块、 第10个反卷积模块和第1个 常规卷 积输出层， 每层分别得到大小为1216 ×320×32的特征图sd_0、 1216 ×320×32的特征图F1、 608×160×64的特征图sd_1、 608 ×160×64的特征图F2、 304 ×80×128的特征图sd_2、 304 ×80×128的特征图F3、 152 ×40×256的特征图sd_3、 152 ×40×256的特征图F4、 76 ×20× 512的特征图sd_4、 76 ×20×512的特征图F5、 76 ×20×512的特征图38 ×10×1024的特征图 sd_5、 76×20×512的反卷积特征图d_sd_1、 152 ×40×256的反卷积特征图d_sd_2、 304 ×80 ×128的反卷积特征图d_sd_3、 608 ×160×64的反卷积特征图d_sd_4、 1216 ×320×32的反 卷积特征图d_sd_5、 608 ×160×64的特征图sd_6、 304 ×80×128的特征图sd_7、 152 ×40× 256的特征图sd_8、 76 ×20×512的特征图sd_9、 38 ×10×1024的特征图sd_10、 76 ×20×512 的反卷积特征图d_sd_6、 152 ×40×256的反卷积特征图d_sd_7、 304 ×80×128的反卷积特 征图d_sd_8、 608 ×160×64的反卷积特征图d_sd_9、 1216 ×320×32的反卷积特征图d_sd_ 10， RGB图像特征提取模块产生的第十四新特征图与sd_0、 第十三新特征图与 sd_1、 第十二 新特征图与sd_2、 第十一新特征图与sd_3、 第十新特征图与sd_4对应相加， 产生大小不变的 新特征图A、 新特征图B、 新特征图C、 新特征图D、 新特征图E。 新特征图E与d_sd_1、 新特征图D 与d_sd_2、 新特征图C与d_sd_3、 新特征图B与d_sd_4、 新特征图A与d_sd_5对应相加，