(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211104970.7 (22)申请日 2022.09.09 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 郑秋宏　张云庚　丁鹏　沈云　 刘丹　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 王辉 (51)Int.Cl. G06T 17/00(2006.01) (54)发明名称 三维物体重建方法、 装置、 存储介质及电子 设备 (57)摘要 本申请属于人工智能技术领域， 涉及三维物 体重建方法、 装置、 存储介质及电子设备。 该方法 包括： 获取待处理单视点RGB图像， 将所述待处理 单视点RGB图像输入至重建模型， 通过所述重建 模型对所述待处理单视点RGB图像进行编码， 以 获取与所述待处理单视点RGB图像对应的形状编 码， 并对所述形状编码进行解码， 以获取与所述 待处理单视点RGB图像对应的三角形面片， 其中， 所述重建模型是基于对应不同物体类别的三维 模型训练得到的； 根据所述三角形面片构建与所 述待处理单视点RGB图像对应的三维物体。 本申 请能够充分利用三维物体形状的先验知识， 提升 了形状估计的鲁棒性， 提高了重建后的三维物体 的真实性和完整性。 权利要求书4页 说明书16页 附图5页 CN 115393526 A 2022.11.25 CN 115393526 A 1.一种三维物体重建方法， 其特 征在于， 包括： 获取待处理单视点RGB图像， 将所述待处理单视点RGB图像输入至重建模型， 通过所述 重建模型对所述待处理单视点RGB图像进行编码， 以获取与所述待处理单视点 RGB图像对应 的形状编码， 并对所述形状编码进 行解码， 以获取与所述待处理单视点 RGB图像对应的三角 形面片， 其中， 所述重建模型 是基于对应不同物体 类别的三维模型训练得到的； 根据所述 三角形面片 构建与所述待处 理单视点RGB图像对应的三维物体。 2.根据权利要求1所述的方法， 其特征在于， 所述重建模型包括形状编码预测子模型、 形状表示子模型和三维等 值面确定子模型； 所述通过所述重建模型对所述待处理单视点RGB图像进行编码， 以获取与所述待处理 单视点RGB图像对应的形状编码， 并对所述形状编码进 行解码， 以获取与所述待处理单视点 RGB图像对应的三角形面片， 包括： 通过所述形状编码预测子模型对所述待处理单视点RGB图像进行编码， 以获取所述形 状编码； 通过所述形状表示子模型对所述形状编码进行解码， 以获取与 所述形状编码对应的有 向距离场S DF集合； 通过所述三维等值面确定子模型根据所述SDF集合确定等值面， 并基于所述等值面确 定所述三角形面片。 3.根据权利要求2所述的方法， 其特征在于， 所述形状编码预测子模型包括依次连接的 图像分块特 征嵌入层、 多个Transformer多尺度编码层和形状嵌入预测层； 所述通过所述形状编码预测子模型对所述待处理单视点RGB图像进行编码， 以获取所 述形状编码， 包括： 通过所述图像分块特征嵌入层对所述待处理单视点RGB图像进行分块， 并对分块得到 的图像分块进行 特征提取， 以获取图像分块特 征序列； 通过各所述Transformer多尺度编码层对所述图像分块特征序列进行不同维度的特征 提取， 以获取与所述待处 理单视点RGB图像对应的高维特 征嵌入向量； 通过所述形状嵌入预测层对所述高维特征嵌入向量进行特征提取， 以获取所述形状编 码。 4.根据权利要求3所述的方法， 其特征在于， 所述图像分块特征嵌入层和所述形状嵌入 预测层均由全 连接层构成， 所述多个Transformer多尺度编码层包括第一Transformer多尺 度编码层、 第二Transformer多尺度编码层和第三Transformer多尺度编码层， 并且各所述 Transformer多尺度编码层包括多个由多头池化注意力层和全连接层构成的编码单 元。 5.根据权利要求2所述的方法， 其特征在于， 所述形状表示子模型包括坐标变换层和隐 式模板处 理层； 所述通过所述形状表示子模型对所述形状编码进行解码， 以获取与 所述形状编码对应 的有向距离场S DF集合， 包括： 将所述形状编码和三维空间坐标集合输入至所述坐标变换层， 所述三维空间坐标集合 是通过对三维棋盘 格采样生成的； 通过所述坐标变换层将所述三维空间坐标集合中的三维空间坐标转换为位于标准坐 标空间中的目标三维空间坐标， 其中， 所述标准 坐标空间为对应隐式模板的坐标空间；权　利　要　求　书 1/4 页 2 CN 115393526 A 2通过所述隐式模板处理层根据所述目标三维空间坐标确定与所述形状编码对应的隐 式模板形状所对应的所述S DF集合。 6.根据权利要求5 中所述的方法， 其特征在于， 所述坐标变换层包括多个由长短期记忆 网络层和仿射变换层构成的坐标转换 单元。 7.根据权利要求2中所述的方法， 其特征在于， 所述通过所述三维等值面确定子模型根 据所述SDF集合确定等 值面， 包括： 从所述SDF值集合中提取相同SDF值， 并根据所述相同SDF值对应的三维空间坐标构建 所述等值面。 8.根据权利要求1所述的方法， 其特征在于， 在将所述待处理单视点RGB图像输入至重 建模型之前， 所述方法还 包括： 获取第一数据集， 根据所述第一数据集对待训练重建模型进行训练， 以获取所述重建 模型。 9.根据权利要求8所述的方法， 其特 征在于， 所述获取第一数据集， 包括： 获取包含多个物体 类别的三维CAD模型的数据集； 对各所述物体类别对应的三维CAD模型所包含的点坐标进行归一化处理， 并对归一化 处理后的三 维CAD模型进行采样， 以获取由多个采样点和各所述采样点对应的SDF值构成的 SDF集合； 根据所述 三维CAD模型和所述S DF集合构建所述第一数据集。 10.根据权利要求8 或9所述的方法， 其特征在于， 所述待训练重建模型包括待训练形状 编码预测子模型和待训练形状表示子模型； 所述根据所述第一数据集对待训练重建模型进行训练， 以获取 所述重建模型， 包括： 根据所述第 一数据集对所述待训练形状表示子模型进行训练， 以获取所述形状表示子 模型； 获取第二数据集， 根据所述形状表示子模型和所述第二数据集构建由单视点RGB图像 和与所述单视点 RGB图像对应的形状编码组成的第三数据集， 其中， 所述第二数据集包括所 述单视点RGB图像和与所述单视点RGB图像对应的三维模型； 根据所述第 三数据集对所述待训练形状编码预测子模型进行训练， 以获取所述形状编 码预测子模型。 11.根据权利要求10所述的方法， 其特征在于， 所述待训练形状表示子模型包括待训练 坐标变换层和待训练隐式模板处 理层； 所述根据 所述第一数据集对所述待训练形状表示子模型进行训练， 以获取所述形状表 示子模型， 包括： 通过所述待训练坐标变换层将所述第 一数据集中对应同一所述三维CAD模型的三维空 间坐标转换到标准坐标系中， 以获取标准空间坐标， 其中所述标准坐标系为与隐式模板对 应的坐标系； 通过所述待训练隐式模板处 理层根据所述标准空间坐标确定预测S DF集合； 根据所述预测 SDF集合和所述第一数据集中的所述SDF集合构建第一损失函数， 根据所 述第一损失函数进行模型参数的调整， 以获取 所述形状表示子模型。 12.根据权利要求11所述的方法， 其特征在于， 所述根据所述预测SDF值集合和所述第权　利　要　求　书 2/4 页 3 CN 115393526 A 3