(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210170142.7 (22)申请日 2022.02.23 (71)申请人 西华大学 地址 610039 四川省成 都市金牛区土桥金 周路999号 (72)发明人 李滔　吕瑞　董秀成　张帆　 (74)专利代理 机构 成都睿道专利代理事务所 (普通合伙) 51217 专利代理师 许立 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 5/00(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于门控循环特征融合的深度图像修 复系统及方法 (57)摘要 本发明提供一种基于门控循环特征融合的 深度图像修复系统及方法， 首先， 浅层特征提取 模块从输入的彩色图像和稀疏深度图像中提取 浅层特征， 并将提取到的浅层特征堆砌为一个统 一浅层特征； 然后， 门控循环特征融合模块根据 统一浅层特征进行多个尺度的编码， 得到各个解 码单元中的门控循环单元特征融合时所需的低 层次特征， 并根据获取到的初始高层次特征从第 S个解码单元开始依次解码， 得到粗略修复的第 一密集深度图像， 同时输出第一解码单元中的门 控循环单元处理得到的高层次特征； 最后， 空间 传播模块根据稀 疏深度图像、 第一密集深度图像 和高层次特征通过迭代更新的方式进行深度图 像修正， 得到精细修复的第二密集深度图像 。 权利要求书2页 说明书9页 附图4页 CN 114529793 A 2022.05.24 CN 114529793 A 1.一种基于门控循环特征融合的深度图像修复系统， 其特征在于， 包括： 浅层特征提取 模块、 门控循环特 征融合模块以及空间传播模块； 所述浅层特征提取模块用于从输入的彩色图像和稀疏深度图像中提取浅层特征， 并将 提取到的浅层特 征堆砌为 一个统一浅层特 征； 所述门控循环特征融合模块包括编码器和解码器； 所述编码器包括依次连接的S个尺 度的编码单元； 所述编码单元包括 R个依次连接的残差块； 所述解码器包括与所述编 码单元 对称设置的S个依 次连接的解码单元； 除第一编码单元对应的第一解码单元包括一个门控 循环单元以及与对应门控循环单元连接一个卷积层外， 其余解码单元均包括一个门控循环 单元以及与对应门控循环单 元连接的上采样层； 其中， S和R均为大于1的整数； 所述编码器用于根据 所述统一浅层特征进行多个尺度的编码， 得到各个解码单元中的 门控循环单元特征融合时所需的低层次特征； 所述解码 器用于通过获取到的初始高层次特 征从第S个解码单元开始依次解码， 得到粗略修复的第一密集深度图像， 同时输出第一解码 单元中的门控循环单 元处理得到的高层次特 征； 所述空间传播模块用于根据 所述稀疏深度图像、 所述第 一密集深度图像和所述高层次 特征通过迭代更新的方式进行深度图像修 正， 得到精细修复的第二密集深度图像。 2.根据权利要求1所述的基于门控循环特征融合的深度图像修复系统， 其特征在于， 所 述编码器中前S ‑1个编码单 元的最后一个残差块均进行 下采样操作。 3.根据权利要求1所述的基于门控循环特征融合的深度图像修复系统， 其特征在于， 所 述空间传播模块包括一个逐维度注意力模块、 一个卷积层和一个空间传播网络； 所述逐维 度注意力模块包括特征通道注意力单元、 特征高度注意力单元、 特征宽度注意力单元和一 个Concat层； 所述特征通道注意力单元用于分析所述高层次特征的通道注意力权重， 并将 所述通道注意力权重与所述高层次特征进 行相乘并输出； 所述特征高度 注意力单元用于分 析所述高层次特征的高度 注意力权重， 并将所述高度 注意力权重与所述高层次特征进 行相 乘并输出； 所述特征宽度注意力单元用于分析所述高层次特征的宽度注意力权重， 并将所 述宽度注意力权重与所述高层次特征进 行相乘并输出； 所述逐维度 注意力模块中的Concat 层用于将三个注意力单元的输出结果堆砌为一个统一特征； 所述空间传播模块中的卷积层 根据所述统一特征分析得到对应的亲和矩阵； 所述空间传播网络以所述稀疏深度图像和所 述第一密集深度图像作为输入， 并通过亲和矩阵引导邻域像素间的迭代扩散和更新， 得到 所述第二密集深度图像。 4.根据权利要求3所述的基于门控循环特征融合的深度图像修复系统， 其特征在于， 所 述特征通道注意力单元包括一个全局池化层、 一个 “1×1卷积层‑ReLU层‑1×1卷积层‑ Sigmoid层 ”组合结构以及一个乘法器 ”； 所述特征高度注意力 单元和所述特征宽度注意力 单元均包括一个全局池化层、 一个 “Resize层 ‑1×1卷积层‑ReLU层‑1×1卷积层‑Sigmoid 层‑Resize层 ”组合结构以及一个乘法器； 所述高层次特征先分别通过所述特征通道注意力 单元、 所述特征高度 注意力单元和所述特征宽度 注意力单元中的全局池化层获得对应的一 维统计信号； 其次， 通过对应的组合结构处理得到对应的注意力权重； 然后， 通过对应的乘 法器将对应的注意力权重与所述高层次特征进行逐像素相乘处理； 最后， 通过Concat层将 三个注意力单 元的输出堆砌为 一个统一特 征。 5.根据权利要求1所述的基于门控循环特征融合的深度图像修复系统， 其特征在于， 所权　利　要　求　书 1/2 页 2 CN 114529793 A 2述浅层特征提取模块包括2个n ×n卷积层和一个Concat层； 其中一个n ×n卷积层用于从输 入的彩色图像中提取浅层彩色特征， 一个n ×n卷积层用于从输入的稀疏深度图像中提取浅 层稀疏深度特征； 所述Concat层用于将所述浅层彩色特征和浅层 稀疏深度特征堆砌为一个 统一浅层特 征。 6.一种基于门控循环特征融合的深度图像修复方法， 应用于权利要求1 ‑5任一项所述 的基于门控循环特 征融合的深度图像修复系统， 其特 征在于， 包括： S1.获取深度图像修复训练集{Ii， Xi， Yi gt}， 其中， i表示变量， 且1≤i≤N， N表示各类图 像的数量； X表示稀疏深度图像； I表示同场景的彩色图像； Ygt表示对应的真实密集深度图 像； S2.通过浅层特征提取模块从输入的彩色图像和稀疏深度图像中提取浅层特征， 并将 提取到的浅层特 征堆砌为 一个统一浅层特 征； S3.通过门控循环特征融合模块根据所述统一浅层特征进行处理， 得到粗略修复的第 一密集深度图像， 同时输出第一 解码单元中的门控循环单 元处理得到的高层次特 征； S4.通过空间传播模块根据所述稀疏深度图像、 所述第一密集深度图像和所述高层次 特征通过迭代更新的方式进行深度图像修 正， 得到精细修复的第二密集深度图像。 7.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： S5.使用N个精细修复的第二密集深度图像与对应的真实密集深度图像间的平均L2误 差作为损失函数， 对深度图像修复系统的参数进行优化， 其中损失函数为： 上式中， Θ表示整个系统的参数； i表示变量， 且1≤i≤N， N表示各类图像的数量； Ⅱ (·)为标志器函数； Ygt表示对应的真实密集深度图像； Y表示精细修复的第二密集深度图 像；⊙表示逐像素相乘。权　利　要　求　书 2/2 页 3 CN 114529793 A 3