(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221082702 9.1 (22)申请日 2022.07.13 (71)申请人 南京航空航天大 学 地址 214000 江苏省无锡市梁 溪区古华 山 路惠麓东苑8号815 (72)发明人 沙俊伟　雷珺祺　孙风杰　俞川　 呼焕然　解金彪　徐贵力　 (74)专利代理 机构 无锡华源专利商标事务所 (普通合伙) 32228 专利代理师 过顾佳 (51)Int.Cl. G06V 10/20(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G01C 1/00(2006.01) (54)发明名称 一种基于计算机视觉的舵翼偏角检测方法 及系统 (57)摘要 本发明公开了一种基于计算机视觉的舵翼 偏角检测方法及系统， 涉及图像处理技术领域， 该方法包括： 从采集的待测目标的图像中识别出 待测舵翼的各角点位置； 根据角点位置和运载工 具表面的工装点位置， 基于PnP算法得到相机与 世界坐标系的相对位姿关系； 根据相对位姿关 系、 待测舵翼的零位位置和安装位置， 基于PnP算 法得到相机分别在舵翼理论位置坐标系和舵翼 实际位置坐标系下的位置一和位置二； 将位置一 和位置二之间的夹角作为待测舵翼的安装位置 相对于零位位置的偏角， 根据位置一和位置二的 三维坐标计算偏角值。 本方法利用非合作目标的 单目视觉图像， 将二维图像点与现实 中三维空间 点联系起来， 实现多舵翼零位的自动确定和偏角 的高精度实时测量。 权利要求书3页 说明书9页 附图6页 CN 115205511 A 2022.10.18 CN 115205511 A 1.一种基于计算机视觉的舵翼偏角检测方法， 其特征在于， 多个待测舵翼通过转轴安 装在运载工具的相应安装位置处， 所述方法包括： 利用两个相机分别采集运载工具左右两侧的图像， 所述图像完整覆盖每侧的待测舵 翼； 对所述图像进行 预处理， 并识别出 所述待测舵翼的各角点 位置； 根据每个所述待测舵翼 的角点位置和运载工具表面的工装点位置， 基于PnP算法得到 单侧相机与世界坐标系的相对位姿关系； 根据所述相对位姿关系、 所述待测舵翼的零位位置和安装位置， 基于PnP算法得到单侧 相机分别 在舵翼理论位置坐标系和舵翼实际位置坐标系下的位置一和位置二， 所述舵翼理 论位置坐标系和舵翼实际位置坐标系共用坐标系原点及所述待测舵翼的转轴； 将所述位置一和位置二分别与坐标系原点构成的夹角作为所述待测舵翼的安装位置 相对于零 位位置的偏角， 根据所述 位置一和位置二的三维坐标计算所述偏角。 2.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法， 其特征在于， 所述对所 述图像进行 预处理， 包括， 对于每一侧的图像： 利用标定相机时得到的畸变向量对所述图像的径向与切向畸变进行矫正； 采用中值滤 波去除图像中的随机噪声点； 将所述图像由RGB颜色域转换为HSV颜色域， 根据所述待测舵 翼的颜色调整HSV颜色的分割阈值， 进 行图像二值化操作， 实现从复杂背 景噪声中得到所需 的ROI区域。 3.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法， 其特征在于， 所述识别 出所述待测舵翼的各角点 位置， 包括， 对于每一侧的图像： 利用基于可调双阈值的Canny算子从一个所述ROI区域中提取出运载工具一侧的所有 边缘， 此时存在若干非闭合边缘与坏点， 利用基于膨胀腐蚀的开闭运算扩张原非闭合边缘， 同时消除坏点， 得到若干闭合 边缘轮廓； 根据所述待测舵翼的几何外形特征， 对所得所述若干闭合边缘轮廓进行基于面积和轮 廓嵌套层 级关系的筛选， 得到的待测舵翼外形轮廓为 非规则闭合轮廓； 使用基于概率Huogh 的直线对所述非规则闭合轮廓进 行直线拟合与多边形拟合， 得到与所述待测舵翼几何外形 一致的规则多边形轮廓； 遍历所得规则多边形轮廓的边缘像素点， 使用基于空间矩的轮廓重心计算方法， 对多 个所述多边形轮廓的重心像素坐标进行比较， 完成一侧视场中多个所述待测舵翼的区分； 提取每个所述多边形轮廓的各个角点， 根据所述待测舵翼 的几何外形特征， 将所述角 点与其在待测舵翼面上的位置一 一对应， 实现对所述待测舵翼的各角点 位置的识别。 4.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法， 其特征在于， 所述根据 每个所述待测舵翼的角点位置和运载工具表面的工装点位置， 基于PnP算法得到单侧相 机 与世界坐标系的相对位姿关系， 包括： 已知所述待测舵翼与运载工具的尺寸和相对空间关系， 在所述运载工具的回转轴 线上 建立世界坐标系， 获取运载工具表面的工装点位置在世界坐标系 下的三维坐标； 根据每个 所述待测舵翼的角点位置和所述运载工具的尺寸， 推算出所述待测舵翼的转轴点位置在世 界坐标系下的三维坐标； 以所述相机为中心建立相机坐标系， 根据 所述转轴点位置和工装点位置在二维图像中权　利　要　求　书 1/3 页 2 CN 115205511 A 2的像素坐标， 推算出 所述转轴点位置和工装点 位置在相机坐标系下的三维坐标； 将所述转轴点位置和工装点位置在两个坐标系下的三维坐标对应匹配， 根据PnP算法 解算出所述相机与世界坐标系的相对位姿关系， 描述 为第一旋转矩阵和第一平 移矩阵。 5.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法， 其特征在于， 根据 所述 相对位姿关系和所述待测舵翼的零位位置， 基于PnP算法得到单侧相 机在舵翼理论位置坐 标系下的位置一， 包括： 设与所述运载工具的回转轴 线平行， 且通过所述待测舵翼的转轴点位置的线段所在位 置为所述待测舵翼的零 位位置， 获取 该线段在世界坐标系下的三维坐标； 利用所述相机与世界坐标系的相对位姿关系， 将该线段的三维坐标从世界坐标系向相 机坐标系投影； 以该线段所在位置为x轴、 以所述待测舵翼的转轴为z轴建立舵翼理论位置 坐标系， 根据PnP算法解算出所述舵翼理论位置坐标系与相机坐标系的相对位姿关系， 描述 为第二旋转矩阵和第二平 移矩阵； 令所述相机坐标系的原点作为单侧相机在该坐标系下的位置， 结合所述第 二旋转矩阵 和第二平移矩阵代入PnP算法中， 将所述单侧相 机从所述相 机坐标系向所述舵翼理论位置 坐标系投影， 得到所述单侧相机在所述舵翼理论 位置坐标系下的位置一的三维坐标。 6.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法， 其特征在于， 根据 所述 待测舵翼的安装位置， 基于PnP算法得到所述单侧相机在舵翼实际位置坐标系下的位置二， 包括： 获取所述待测舵翼的安装位置在相机坐标系下的三维坐标， 以所述待测舵翼的安装位 置为x轴、 以所述待测舵翼的转轴为z轴建立舵翼实际位置坐标系， 根据PnP算法解算出所述 舵翼实际位置坐标系与相机坐标系的相对位姿关系， 描述为第三旋转矩阵和第三平移矩 阵； 令所述相机坐标系的原点作为单侧相机在该坐标系下的位置， 结合所述第 三旋转矩阵 和第三平移矩阵代入PnP算法中， 将所述单侧相 机从所述相 机坐标系向所述舵翼实际位置 坐标系投影， 得到所述单侧相机在所述舵翼实际位置坐标系下的位置二的三维坐标。 7.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法， 其特征在于， 根据 所述 位置一和位置二的三维坐标计算所述偏角， 包括： 根据所述位置一和位置二的三维坐标， 分别计算得到所述位置一与坐标系原点的距离 为d1、 所述位置二与坐标系原点的距离为d2、 所述位置一与位置二之间的距离为d3， 则根据 三角函数公式， 计算所述 位置一、 位置二分别与坐标系原点构成的夹角 θ， 表达式为： 8.根据权利要求1 ‑7任一所述的基于计算机视觉的舵翼偏角检测方法， 其特征在于， 所 述方法还 包括： 在检测前， 将所述相机依次安放在既定不同姿态下， 预先设定好所述待测舵翼 的安装 位置的偏角角度作为真值， 基于所述检测方法得到相机在各个姿态下的偏角作为标定测量 值， 将所述标定测量 值与真值做对比， 建立多 姿态下的离线误差库； 在完成所述根据 所述位置一和位置二的三维坐标计算所述偏角后， 将该值代入所述离 线误差库进行比对， 将库中最接近此时实际姿态的误差补偿回该值中， 实现计算数据的精权　利　要　求　书 2/3 页 3 CN 115205511 A 3