(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210739676.7 (22)申请日 2022.06.28 (71)申请人 五邑大学 地址 529000 广东省江门市蓬江区东成村 22号 申请人 中德 （珠海） 人工智能研究院有限公 司 (72)发明人 常青玲　崔岩　任飞　徐世廷　 杨鑫　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 孙浩 (51)Int.Cl. G06T 7/593(2017.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 单目三维平面恢复方法、 设备及存 储介质 (57)摘要 本发明公开了一种单目三维平 面恢复方法、 设备及存储介质， 方法包括： 对输入图像进行多 尺度特征提取， 得到两个尺度下的第一特征图和 第二特征图； 将第一特征图分别输入第一内编码 器和第一外编码器， 分别提取得到第一特征图中 第一图像块的第一内部特征和各个第一图像块 之间的第一 关联特征； 将第一内部特征和第一关 联特征融合后输入到第一解码器进行解码， 得到 预测平面参数和预测平面区域； 根据平面参数和 平面区域进行三维恢复， 得到预测三维平面。 本 发明通过分别提取对应特征图中图像块的内部 特征以及图像块之间的关联特征， 再将特征融合 后输入到解码器进行解码， 能够 有效提高特征提 取的全面性， 能够提高单目三维平面恢复的精 度。 权利要求书2页 说明书9页 附图3页 CN 115115691 A 2022.09.27 CN 115115691 A 1.一种单目三维平面恢复方法， 其特 征在于， 包括： 对所述输入图像进行多尺度特 征提取， 得到 两个尺度下的第一特 征图和第二特 征图； 将所述第一特征图分别输入第 一内编码器和第 一外编码器， 分别提取得到所述第 一特 征图中第一图像块的第一内部特 征和各个所述第一图像块之间的第一关联 特征； 将所述第二特征图分别输入第 二内编码器和第 二外编码器， 分别提取得到所述第 二特 征图中第二图像块的第二内部特 征和各个所述第二图像块之间的第二关联 特征； 将所述第一内部特征和所述第 一关联特征融合后输入到第 一解码器进行解码， 得到预 测平面参数和预测平面区域； 将所述第二内部特征和所述第 二关联特征融合后输入到第 二解码器进行解码， 得到预 测非平面区域， 其中， 所述预测非平面区域用于校验所述预测平面区域； 根据所述平面 参数和所述平面区域进行三维恢复， 得到预测三维平面。 2.根据权利要求1所述的单目三维平面恢 复方法， 其特征在于， 所述对所述输入图像进 行多尺度特 征提取， 得到 两个尺度下的第一特 征图和第二特 征图， 包括： 对输入图像进行多尺度特 征提取， 得到 两个尺度下的第一 提取图和第二 提取图； 对所述第一提取图和所述第 二提取图分别嵌入对应的位置信 息， 得到两个尺度 下的第 一特征图和第二特 征图。 3.根据权利要求1所述的单目三维平面恢 复方法， 其特征在于， 所述将所述第 一特征图 分别输入第一内编 码器和第一外编 码器， 分别提取得到所述第一特征图中第一图像块的第 一内部特 征和各个所述第一图像块之间的第一关联 特征， 包括： 将所述第一特 征图分切为多个第一图像块； 将各个所述第 一图像块输入到所述第 一内编码器， 提取得到各个所述第 一图像块的所 述第一内部特 征； 将各个所述第 一图像块输入到所述第 一外编码器， 提取得到各个所述第 一图像块之间 的所述第一关联 特征。 4.根据权利要求1所述的单目三维平面恢 复方法， 其特征在于， 所述将所述第 二特征图 分别输入第二内编 码器和第二外编 码器， 分别提取得到所述第二特征图中第二图像块的第 二内部特 征和各个所述第二图像块之间的第二关联 特征， 包括： 将所述第二特 征图分切为多个第二图像块； 将各个所述第 二图像块输入到所述第 二内编码器， 提取得到各个所述第 二图像块的所 述第二内部特 征； 将各个所述第 二图像块输入到所述第 二外编码器， 提取得到各个所述第 二图像块之间 的所述第二关联 特征。 5.根据权利要求1所述的单目三维平面恢 复方法， 其特征在于， 所述将所述第 一内部特 征和所述第一关联特征融合后输入到第一解码器进行解码， 得到预测平面参数和预测平面 区域， 包括： 将所述第一内部特 征和所述第一关联 特征进行元素相加， 得到第一融合特 征； 将所述第一融合特征输入到所述第一解码器以平面区域和平面参数为标签进行解码 分类， 得到所述预测平面 参数和所述预测平面区域。 6.根据权利要求1所述的单目三维平面恢 复方法， 其特征在于， 所述将所述第 二内部特权　利　要　求　书 1/2 页 2 CN 115115691 A 2征和所述第二关联 特征融合后输入到第二 解码器进行解码， 得到预测非平面区域， 包括： 将所述第二内部特 征和所述第二关联 特征进行元素相加， 得到第二融合特 征； 将所述第二融合特征输入到所述第 二解码器以非平面区域为标签进行解码分类， 得到 所述预测非平面区域。 7.根据权利要求1所述的单目三维平面恢 复方法， 其特征在于， 在所述将所述第 二内部 特征和所述第二关联特征融合后输入到第二解码器进行解码， 得到预测非平面区域之后， 还包括： 根据所述预测平面区域、 所述预测非平面区域和损 失函数， 更新所述第一解码器的权 重。 8.根据权利要求7所述的单目三维平面恢 复方法， 其特征在于， 所述根据 所述预测非平 面区域和损失函数， 更新所述第一 解码器的权 重， 包括： 根据所述预测平面区域、 所述预测非平面区域和 交叉熵损 失函数， 更新所述第一解码 器的权重， 其中， 所述交叉熵损失函数为： Y+和Y‑分别表示平面区域标记像素和非平面区域标记像素， Pi表示第i个像素属于平面 区域的概率， 表示第i个像素属于非平面区域的概率， w是平面区域像素标记和非平面区 域像素标记的比率。 9.一种电子设备， 其特 征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序， 所述 处理器执行所述计算机程序时实现如权利要求1至8 中任意一项所述的单目三维平面恢复 方法。 10.一种计算机存储介质， 其特征在于， 存储有计算机可执行指令， 所述计算机可执行 指令用于执 行权利要求1至8中任意 一项所述的单目三维平面恢复方法。权　利　要　求　书 2/2 页 3 CN 115115691 A 3