(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210659296.2 (22)申请日 2022.06.10 (71)申请人 北京奇艺世纪科技有限公司 地址 100080 北京市海淀区北一 街2号鸿城 拓展大厦10、 1 1层 (72)发明人 李成　龙翔　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 卢万腾 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/55(2017.01) G06T 7/80(2017.01) G06T 5/50(2006.01) (54)发明名称 位姿标定方法、 点云融合方法及装置 (57)摘要 本发明实施例涉及一种位姿 标定方法、 点云 融合方法及装置， 其中位姿标定方法包括： 获取 至少两台相机在同一时刻采集的彩色图像和深 度图像； 根据每台所述相机采集的所述彩色图 像， 确定每相邻两台相机之间的第一相对位姿； 根据每台所述相机采集的所述深度图像， 对所述 每相邻两台相机之间的第一相对位姿进行优化， 得到所述每相邻两台相机 之间的第二相对位姿， 将对应的所述第二相对位姿确定为所述相邻两 台相机之间的相对位姿。 由此， 可 以实现提高位 姿标定结果的准确性。 权利要求书2页 说明书12页 附图5页 CN 114937085 A 2022.08.23 CN 114937085 A 1.一种位姿标定方法， 其特 征在于， 包括： 获取至少两台相机在同一时刻采集的彩色图像和深度图像； 根据每台所述相机采集的所述彩色图像， 确定每相邻两台相机之间的第一相对位姿； 根据每台所述相机采集的所述深度图像， 对所述每相邻 两台相机之间的第 一相对位姿 进行优化， 得到所述每相邻两台相 机之间的第二相对位姿， 将对应的所述第二相对位姿确 定为所述相邻两台相机之间的相对位姿。 2.根据权利要求1所述的方法， 其特征在于， 所述根据每 台所述相机采集的所述深度图 像， 对所述每相邻两台相 机之间的第一相对位姿进行优化， 得到所述每相邻两台相 机之间 的第二相对位姿， 包括： 针对所述每相邻两台相机执 行以下处 理： 根据所述相邻 两台相机各自采集的所述深度图像， 生成所述相邻 两台相机各自对应的 点云数据集； 对所述相邻 两台相机各自采集的所述彩色图像进行特征点匹配， 得到所述相邻 两台相 机对应的匹配特 征点集； 从所述相邻 两台相机各自对应的所述点云数据集中， 确定与 所述匹配特征点集对应的 匹配特征点云数据集； 基于所述匹配特征点云数据集， 对所述相邻两台相机之间的第一相对位姿进行优化， 得到所述相邻两台相机之间的第二相对位姿。 3.根据权利要求2所述的方法， 其特征在于， 在所述基于所述匹配特征点云数据集， 对 所述相邻两台相机之间的第一相对位姿 进行优化之后， 还 包括： 基于所述相邻 两台相机各自对应的所述点云数据集， 对基于所述匹配特征点云数据集 优化后的第一相对位姿再次进行优化。 4.根据权利要求3所述的方法， 其特征在于， 在所述对基于所述匹配特征点云数据集优 化后的第一相对位姿再次进行优化之后， 还 包括： 确定基于所述点云数据集再次优化后的第一相对位姿与基于所述匹配特征点云数据 集优化后的第一相对位姿之间的位姿差； 将所述位姿差与预设的误差阈值进行比较； 若比较出所述位姿差小于或者等于所述误差阈值， 则将基于所述点云数据集再次优化 后的第一相对位姿确定为所述第二相对位姿； 若比较出所述位姿差大于所述误差 阈值， 则返回执行所述基于所述相邻 两台相机各自 对应的所述点云数据集， 对基于所述匹配特征点云数据集优化后的第一相对位姿 再次进行 优化的步骤。 5.根据权利要求1所述的方法， 其特征在于， 所述根据每 台所述相机采集的所述彩色图 像， 确定每相邻两台相机之间的第一相对位姿， 包括： 从所述至少两台相机中选择第一相机和第二相机， 所述第一相机和所述第二相机相 邻； 对所述第一相机和所述第 二相机各自采集的所述彩色图像进行特征点匹配， 得到所述 第一相机和所述第二相机对应的匹配特 征点集； 根据所述匹配特 征点集确定所述第一相机和所述第二相机之间的单应性矩阵；权　利　要　求　书 1/2 页 2 CN 114937085 A 2根据所述单应性矩阵确定所述第一相机和所述第二相机之间的第一相对位姿； 根据所述第一相机和所述第二相机之间的第一相对位姿对所述匹配特征点集进行特 征点三角化， 得到所述匹配特 征点集对应的特 征点3D坐标集； 基于所述特征点3D坐标集以及其他所述相机采集的所述彩色图像， 利用PnP算法确定 其他每相邻两台相机之间的第一相对位姿。 6.一种点云融合方法， 其特 征在于， 包括： 获取至少两台相机在同一时刻采集的彩色图像和深度图像； 根据每台所述相机采集的所述彩色图像， 确定每相邻 两台所述相机之间的第 一相对位 姿； 根据每台所述相机采集的所述深度图像， 生成每台所述相机对应的点云数据集， 以及 根据每台所述相机对应的所述点云数据集， 对所述每相邻两台所述相机之 间的第一相对位 姿进行优化， 得到所述每相邻两台所述相机之间的第二相对位姿； 根据所述每相邻 两台所述相机之间的第 二相对位姿， 对所述至少两 台相机各自对应的 所述点云数据集进行融合， 得到所述至少两台相机对应的融合 点云数据集。 7.一种位姿标定装置， 其特 征在于， 包括： 图像获取模块， 用于获取至少两台相机在同一时刻采集的彩色图像和深度图像； 第一位姿确定模块， 用于根据每台所述相机采集的所述彩色图像， 确定每相邻两台相 机之间的第一相对位姿； 第二位姿确定模块， 用于根据每台所述相机采集的所述深度图像， 对所述每相邻两台 相机之间的第一相对位姿进行优化， 得到所述每相邻两台相 机之间的第二相对位姿， 将对 应的所述第二相对位姿确定为所述相邻两台相机之间的相对位姿。 8.一种点云融合装置， 其特 征在于， 包括： 图像获取模块， 用于获取至少两台相机在同一时刻采集的彩色图像和深度图像； 第一位姿确定模块， 用于根据每台所述相机采集的所述彩色图像， 确定每相邻两台所 述相机之间的第一相对位姿； 点云生成模块， 用于根据每台所述相机采集的所述深度图像， 生成每台所述相机对应 的点云数据集； 第二位姿确定模块， 用于根据每台所述相机对应的所述点云数据集， 对所述每相邻两 台所述相机之 间的第一相对位姿进行优化， 得到所述每相 邻两台所述相机之间的第二相对 位姿； 点云融合模块， 用于根据所述每相邻两台所述相机之间的第二相对位姿， 对所述至少 两台相机各自对应的所述点云数据集进行融合， 得到所述至少两台相机对应的融合点云数 据集。 9.一种电子设备， 其特征在于， 包括： 处理器和存储器， 所述处理器用于执行所述存储 器中存储的位姿标定程序或者 点云融合 程序， 以实现权利要求1～6中任一项所述的方法。 10.一种存储介质， 其特征在于， 所述存储介质存储有一个或者多个程序， 所述一个或 者多个程序可被一个或者多个处 理器执行， 以实现权利要求1～6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114937085 A 3