(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210539874.9 (22)申请日 2022.05.17 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 季向阳　张睿达　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 物体的姿态估计方法、 装置、 电子设备及存 储介质 (57)摘要 本申请涉及计算机视觉技术领域， 特别涉及 一种物体的姿态估计方法、 装置、 电子设备及存 储介质， 方法包括： 基于预先训练的物体检测器 获取待测物体的所在区域， 将其对应的深度图反 投影至三维空间， 得到待测物体的点云数据， 并 结合待测物体的类别的先验形状信息得到点云 数据和形状先验信息的特征， 将二者特征拼接并 输入至回归姿态分支和预测边界框分支， 得到待 测物体的预测位姿和预测边界框， 从而获取待测 物体的姿态估计结果。 由此， 解决了因相关技术 中的求解边界框方法缺乏先验知识的引导， 从而 导致求解精度受限， 速度较慢及鲁棒性较差等问 题， 通过将形状先验信息和求解边界框相结合， 从而简化了边界框的求解过程， 并通过几何约束 提高了求 解精度。 权利要求书2页 说明书10页 附图3页 CN 115115701 A 2022.09.27 CN 115115701 A 1.一种物体的姿态估计方法， 其特 征在于， 包括以下步骤： 基于预先训练的物体检测器获取待测物体的所在区域， 将所述待测物体的所在区域对 应的深度图反投影至三维空间， 得到所述待测物体的点云数据； 根据所述点云数据和所述待测物体的类别的先验形状信息得到所述点云数据的第一 特征和所述形状先验信息的第二特 征； 以及 将所述第一特征和所述第二特征拼接， 并输入至回归姿态分支和预测边界框分支， 得 到所述待测物体的预测位姿和预测边界框， 并基于所述预测位姿和所述预测边界框获取所 述待测物体的姿态估计结果。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述第一特征和所述第二特征拼 接， 并输入至回归姿态分支和预测边界框分支， 得到所述预测边界框， 包括： 基于所述待测物体的形状先验信 息， 计算所述待测物体的每个点在物体坐标系空间的 投影向量； 通过估计的姿态将所述投影向量从所述物体坐标系转换到相机坐标系， 得到引导向 量； 利用目标神经网络计算所述投影向量和所述引导向量的残差量， 得到所述待测物体的 预测边界框 。 3.根据权利要求2所述的方法， 其特 征在于， 还 包括： 基于一致性损失函数对所述投影向量进行修 正， 其中， 所述 一致性损失函数为： 其中， Po为观测到的点云， B 为检测框六个面， 为预测位姿计算的投影向量， 为 残差量计算的投影向量。 4.根据权利要求3所述的方法， 其特 征在于， 所述预测位姿计算的投影向量 为： 所述残差量计算的投影向量 为： 其中， <·,·>为向量的内积， P为x+面上的一 点， RP,x+为残差量， DP,x+为引导向量。 5.根据权利要求1所述的方法， 其特征在于， 所述待测物体为旋转对称物体， 在计算所 述待测物体的每 个点在物体坐标系空间的投影向量之后， 还 包括： 基于尺度变换公式， 按照预设方向对所述待测物体进行拉伸， 并获取拉伸后待测物体 的每个点在物体坐标系空间的投影向量， 其中， 所述尺度变换公式为： 其中， γmax， γmim为均匀采样的随机变量。 6.一种物体的姿态估计装置， 其特 征在于， 包括： 投影模块， 用于基于预先训练的物体检测器获取待测物体的所在区域， 将所述待测物 体的所在区域对应的深度图反投影至三维空间， 得到所述待测物体的点云数据； 第一获取模块， 用于根据所述点云数据和所述待测物体的类别的先验形状信 息得到所 述点云数据的第一特 征和所述形状先验信息的第二特 征； 以及权　利　要　求　书 1/2 页 2 CN 115115701 A 2第二获取模块， 用于将所述第一特征和所述第二特征拼接， 并输入至回归姿态分支和 预测边界框分支， 得到所述待测物体的预测位姿和预测边界框， 并基于所述预测位姿和所 述预测边界框获取 所述待测物体的姿态估计结果。 7.根据权利要求6所述的装置， 其特 征在于， 所述第二获取模块， 具体用于： 基于所述待测物体的形状先验信 息， 计算所述待测物体的每个点在物体坐标系空间的 投影向量； 通过估计的姿态将所述投影向量从所述物体坐标系转换到相机坐标系， 得到引导向 量； 利用目标神经网络计算所述投影向量和所述引导向量的残差量， 得到所述待测物体的 预测边界框 。 8.根据权利要求7 所述的装置， 其特 征在于， 还 包括： 修正模块， 用于基于一致性损失函数对所述投影向量进行修正， 其中， 所述一致性损失 函数为： 其中， Po为观测到的点云， B为检测框六个面， 为预测位姿计算的投影向量， 为 残差量计算的投影向量。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑5任一项所 述的物体的姿态估计方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑5任一项所述的物体的姿态估计方法。权　利　要　求　书 2/2 页 3 CN 115115701 A 3