(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210746600.7 (22)申请日 2022.06.28 (71)申请人 成都上富智感科技有限公司 地址 611230 四川省成 都市中国(四川)自 由贸易试验区成都市天府新区兴隆街 道湖畔路北段715号1号楼3 01室 (72)发明人 罗韬　王小保　何十全　陈建亮　 蒋荣飞　 (74)专利代理 机构 北京市浩 东律师事务所 11499 专利代理师 李雁 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/00(2017.01) G06T 7/11(2017.01)G06T 7/73(2017.01) G06T 5/30(2006.01) G06T 5/20(2006.01) G06T 5/00(2006.01) G06T 9/00(2006.01) G06V 10/22(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) (54)发明名称 应用于全景影像拼接的棋盘格编码角 点检 测算法 (57)摘要 本发明公开了应用于全景影像拼接的棋盘 格编码角点检测算法， 包括如下步骤： 获取棋盘 格ROI区域： 全景环视采用的是鱼眼摄像头， 具有 超过180度的视角， 拍摄的图像内容要素过多且 两端景物畸变明显， 为了减少环 境和摄像头畸变 带来的干扰， 对鱼眼摄像头原图进行矫正并剔除 了畸变原图中的干扰信息， 仅保留棋盘格及其附 近的像素信息； 对棋盘格区域编码得到矩阵C0： 目标棋盘格的ROI区域分别对应标定场的四个 角； 提取ROI区域上的黑色格子的四边形轮廓， 并 对其进行二进制编码排序； 对检测出来的二进制 编码C1与已知的二进制编码C0进行匹配， 并计算 出经纬线及其交点， 从交点中提取出所需的目标 标定角点， 最终还原到矫正图像上完成角点的自 动检测。 权利要求书2页 说明书7页 附图6页 CN 115272477 A 2022.11.01 CN 115272477 A 1.应用于全景影 像拼接的棋盘 格编码角点检测算法， 其特 征在于， 包括如下步骤： S1、 获取棋盘 格ROI区域； S1‑1、 全景环视采用的是鱼眼摄像头， 具有超过180度的视角， 拍摄的图像内容要素过 多且两端景物畸变明显， 为了减少环境和摄像头畸变带来的干扰， 对鱼眼摄像头原图进行 矫正并剔除了畸变原图中的干扰信息， 仅保留棋盘 格及其附近的像素信息； S1‑2、 对鱼眼摄像头原图进行矫正， 去除鱼眼摄像头带来的畸变， 鱼眼图像的畸变矫正 需要获取摄像头内参矩阵， 采用张正友标定 法获取， 制作一块具有黑白棋盘格的标定板， 使 用鱼眼摄像头在不同角度下拍摄该标定板得到一组图片， 识别图像中的棋盘格角点并通过 迭代法计算得到对应 摄像头的内参矩阵； S1‑3、 利用S1 ‑2中的内参矩阵对鱼眼畸变原图进行矫正， 为了尽量保留畸变原图中完 整的信息， 将矫 正图的宽、 高方向在原图的基础上分别扩大3倍和2倍； S1‑4、 若原图像上的像素信息较少， 经过矫正之后在矫正图像中出现了模糊不清甚至 变形的情况， 并且矫正图中的冗余信息过多， 会严重影响棋盘格角点识别的准确性， 通过将 矫正图像进行一次透视变换， 利用识别标定布中间位置特征明显的棋盘格角点信息， 结合 标定布的实际尺寸计算得到一个投影矩阵， 从而将S1 ‑3中的矫正图像变换成一个俯视视角 的投影图像， 该变换可将矫正图像中的大部分无关信息裁剪掉， 仅保留棋盘格及其附近的 有效像素信息； S1‑5、 根据标定布的实际位置关系， 估算出左右两侧棋盘格在投影图像中的区域作为 ROI区域， 并将其裁 剪截取出来， 作为下一 步角点检测的输入； S2、 对棋盘 格区域编码得到矩阵C 0； S2‑1、 目标棋盘格的ROI区域分别对应标定场的四个角， 棋盘格位置分布关系， 左上和 右下相同， 右上和左下相同， 将黑块区域记为 1， 白块记 为0， 对每一块棋盘格进 行编码， 左上 和右下棋盘格对应的编码方式为 右上和左下棋盘格对应的编码方式为 S3、 提取ROI区域上的黑色格子的四边形轮廓， 并对其进行二进制编码排序， 编码方式 和S2中的编码方式相同， 即黑色格子记作1， 白色格子记作0； S3‑1、 对ROI区域图像进行 灰度化， 并通过高斯滤波， 滤除低通噪声； S3‑2、 进行二 值化处理， 结合形态学闭运 算操作， 消除干扰杂散黑 块； S3‑3、 对S3‑2处理后的ROI进行 形态学膨胀运 算操作， 使四边形黑 块分离； S3‑4、 进行腐蚀操作， 拉近四边形黑色块间的距离； S3‑5、 进行多边形轮廓检测， 根据棋盘格上黑色格子的实际面积和几何特性得到对应 的四边形轮廓；权　利　要　求　书 1/2 页 2 CN 115272477 A 2S3‑6、 计算提取出来的四边形轮廓的平均边长， 根据边长及四边形间的相对距离进行 二进制编码， 轮廓内记为1， 轮廓外记为0， 并得到二进制码矩阵C1； S3‑7、 根据检测出的四边形的坐标 得到棋盘 格在ROI区域中的具体位置P0； S4、 对检测出来的二进制编码C1与已知的二进制编码C0进行匹配， 并计算出经纬线及 其交点， 从交点中提取出所需的目标标定角点， 最终还原到矫正图像上完成角点的自动检 测； S4‑1、 确定编码C1是否与C0中的某个唯一子集的 “1”相匹配， 通过查找方式定位编码C1 在C0中的位置； S4‑2、 通过流程S4 ‑1中的定位以及检测到的四边形轮廓的平均间距， 结合S3中流程S3 ‑ 7得到的P0位置关系， 补全得到4*4方块区域； S4‑3、 采用横纵坐标相连的经纬线划分方式， 得到识别出的内角点交点； S4‑4、 筛选出目标 标定角点， 并通过逆矩阵计算还原到矫 正图像。权　利　要　求　书 2/2 页 3 CN 115272477 A 3