(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210262348.2 (22)申请日 2022.03.17 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号西 安电子科技大 学 (72)发明人 李静　洪世宽　蒋昱麒　代嫣冉　 潘浩喆　韩锐　 (74)专利代理 机构 西安长和专利代理有限公司 61227 专利代理师 黄伟洪 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/33(2017.01) G06T 7/44(2017.01) G06T 17/20(2006.01)G06T 5/20(2006.01) G06K 9/62(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/762(2022.01) (54)发明名称 一种大场景下多相机标定方法、 信息处理终 端及存储介质 (57)摘要 本发明属于计算机视觉下的多视图几何技 术领域， 公开了一种大场景下多相机标定方法、 信息处理终端及存储介质， 对大场景标定中的多 相机利用场景聚类算法和去除异常轨迹算法进 行歧义匹配滤波； 对进行歧义匹配滤波图像利用 不同融合模式进行弱纹理信息增强； 对弱纹理信 息增强后图像利用ICP配准算法结合相机构型的 配准算法进行坐标系配准。 本发 明中算法对大场 景中纹理相似和纹理稀 疏的适应能力。 极大提高 了标定的精度。 可实现大场景下的高精度多相机 位姿标定。 本发 明通过对布局进行平 面建模和球 心坐标求解， 获得转换矩阵。 以上两种方式互相 补充， 增强坐标系配准 算法的易用性。 权利要求书3页 说明书13页 附图5页 CN 114742894 A 2022.07.12 CN 114742894 A 1.一种大场景下多相机标定方法， 其特征在于， 所述大场景下多相机标定方法包括： 对 大场景标定中的多相机利用场景聚类算法和去除异常轨 迹算法进行歧义匹配滤波； 对进行歧义匹配滤波图像利用不同融合模式进行弱纹理信 息增强； 对弱纹理信 息增强 后图像利用ICP配准 算法结合相机构型的配准 算法进行坐标系配准。 2.如权利要求1所述的大场景下多相机标定方法， 其特征在于， 所述进行歧义匹配滤波 包括： 在大场景 的多相机标定中， 利用广度优先搜索建立估计信息， 通过场景一致性、 惩罚 同步性、 长度加权性划分场景中轨迹为独特轨迹和歧义轨迹， 并获得各视角图像的独特轨 迹占比； 通过搜索各视角图像的邻居节点进行独特轨迹占比评分度量， 依据独特轨迹占比 评分度量进行轨 迹滤波。 3.如权利要求1所述的大场景下多相机标定方法， 其特征在于， 所述场景聚类算法包 括： 一组图像表 示为I＝{I1,…,In}， 每幅图像上可见轨迹为Ti； 标志性图像轨迹集合定义为 歧义轨迹定义为 独特轨迹定义为TU＝TA‑TC； 定义标 志性图像集合为U； 场景一致性准则为： 尽量的多； 惩罚同步性 准则为： 尽量的小； 长度加权性 准则为： 定义度量 函数为： 上式中的两个度量函数在一开始为0， 随着图像的遍历， 选择最大的R(U)和R(Uscore)作 为初始集合， 再在剩余图像中依次寻找此大值， 直至TA占比超过整幅图像的比例阈值； 并从 聚合轨迹里分离出 各幅图像的独特轨 迹； 所述去除异常轨迹算法包括： 在生成独特轨迹后， 利用独特轨迹进行判定是否当前图 像匹配对能保留， 筛 选规则为： 上式中uniqueTrackij为uniqueTracki和uniqueTrackj的交集。 4.如权利要求1所述的大场景下多相机标定方法， 其特征在于， 所述不同融合模式包括 区域选择 的融合以及过滤策略的融合； 所述区域选择 的融合包括： 对多时刻图像进行语义 分割， 获得人体语义信息内匹配关系 所对应的特征点； 将多时刻语义先验特征点融合到参 考时刻上； 所述过滤策略的融合包括去除融合多时刻语义先验内匹配关系中的假阳性点和在融 合时去除冗余重复点； 所述去除融合多时刻语义先验区域内 中的假阳性 点， 即外点， 过程包括： (1)首先随机选择满足图像双视角模型的最小点数， 其中H矩阵最小需要4对点， F矩阵 组最小需要8对点；权　利　要　求　书 1/3 页 2 CN 114742894 A 2(2)根据选择的点计算模型M， 并根据对称转移误差 选择使用何种模型； (3)计算所有点 中符合该模型的内点数； 对RANSAC算法筛选内点进行动态阈值更新， 更 新公式为： 用当前模型衡量 点的相似性作为损失项加入到总损失计算中； (4)将totalCost与记录的最小mi nCost进行判断， 选择最小损失时的内点 位置坐标； (5)重新使用记录的内点更新M模型， 然后迭代上述 步骤(1)～步骤(4)。 5.如权利要求1所述的大场景下多相机标定方法， 其特征在于， 所述ICP配准算法包括： 1)对稀疏的三维点云位姿进行稠密三维点云重建， 得到场景的稠密点云信息； 手工选择稠 密点云中的至少四个稠密点云坐标， 计为P＝p1,…,pn， 此时获得的坐标即为自标定坐标系 下的坐标； 2)采用三角化恢复自标定坐标系下的三维世界坐标； 3)在真实场景中， 按照规定好的坐标系， 选定与稠密点云或三角化对应点的真实世界 点坐标， 计为 4)利用欧式变换s ,R ,t使得： 使用迭代最近点(Iterative   ClosestPoint,ICP)进行求 解。 (3a5)最近点求解： 计算两组对应点的质心位置 然后计算 每个点的去质心坐标： qi＝pi‑p,q′i＝p′i‑p′ 定义损失函数， 转换为优化问题进行求 解旋转矩阵： 根据上式求 解出来的R矩阵来计算t 矩阵， t*＝p‑Rq′； 恢复对应的尺度信息： psub＝pi‑pi+1 p′sub＝p′subi‑p′subi+1 通过 来进行坐标系配准。 6.如权利要求1所述的大场景下多相机标定方法， 其特征在于， 相机构型的配准算法相 包括： (I)设定相机布设位置的球心坐标世界坐标系的原点， 定义 为Pballcenter； (II)根据相机部署构型， 选择处于同一平面且与场景地面保持平行的相机， 并根据自 标定坐标系的相机 外参， 求解出相机光心所处位置的世界坐标为： (III)对所有处于同一平面的点进行平面拟合， 确定平面参数方程及垂直平面的法向 量；权　利　要　求　书 2/3 页 3 CN 114742894 A 3