(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210521083.3 (22)申请日 2022.05.12 (71)申请人 西安沃祥航空科技有限公司 地址 710089 陕西省西安市阎良区蓝天 五 路科创大厦 (72)发明人 郑帅　张赛　杨朋涛　王静　 张俊杰　 (74)专利代理 机构 西北工业大 学专利中心 61204 专利代理师 金凤 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/246(2017.01) G06T 7/60(2017.01) G06T 5/00(2006.01)G06T 7/80(2017.01) G06T 1/00(2006.01) G06V 10/46(2022.01) B64D 39/00(2006.01) (54)发明名称 无人机自主空中加油受油探头与加油锥套 视觉对齐方法 (57)摘要 本发明公开了一种无人机自主空中加油受 油探头与加油锥套视觉对齐方法， 通过位于受油 探头正后上方的光学传感器件获取数据经过处 理后输出加油受油探头与加油锥套的三维空间 下的相对空间距离测量对齐信息。 本发明利用加 油锥套的自身结构将加油锥套模型简化为关键 点模型， 无需事 先布置人工标记或主动光源于加 油锥套， 能够检测到锥套内轮廓和外轮廓， 可对 加油锥套与受油探头进行相对位置三维对齐信 息测量。 具备实时性高、 可靠性强和精度高的特 点， 可以满足无人机软式自主空中加油工作要 求， 可以满足无人机软式自主空中加油工作要 求。 权利要求书3页 说明书6页 附图1页 CN 114897984 A 2022.08.12 CN 114897984 A 1.一种无人机自主空中加油受油探头与加油锥套视觉对齐方法， 其特征在于包括下述 步骤： 步骤1： 当进行自主空中加油过程中， 利用位于受油探头正后上方的光学传感器件获取 数据； 设置相机分辨 率为最大可支持的分辨 率； 步骤2： 对光学传感器件所获取的数据进行畸变矫正并去除噪声， 采用张氏相机标定法 对所得到的相机内参与畸变参数进行畸变矫 正， 采用高斯模糊法进行图像降噪； 步骤3： 检测并跟踪加油锥套所在局部区域； 步骤4)将加油锥套模型简化为关键点模型， 对加油锥套与受油探头进行相对空间距离 测量； 步骤5)计算加油锥套的内轮廓与外轮廓信息； 将步骤4)所得的坐标集合A直接按照关键点出现的先后顺序均分为两部分集合， 对于 第一部分的集合通过椭圆拟合得到椭圆长轴、 短轴、 中心 坐标和旋转角度， 该椭圆信息作为 内轮廓信息； 对于第二部分的集合通过椭圆拟合得到椭圆长轴、 短轴、 中心坐标和旋转角 度， 该椭圆信息作为外轮廓信息； 判断内轮廓和外轮廓是否相交， 若相交， 则计算并输出加 油锥套外轮廓的相对位置三维对齐信息； 若不相交， 则计算并输出内轮廓的相对位置三维 对齐信息； 步骤6)判断对齐成功状态； 在1秒内， 若受油探头与加油锥套的相对直线距离等于0， 并且受油探头的受油端位于 加油锥套的内轮廓中， 则输出对齐成功状态； 否则， 未对齐失败， 进入步骤7)； 步骤7)判断异常状态； 若当受油探头与加油锥套的相对直线距离满足大于0且小于等于一个事先设定的可对 接距离， 且此时的受油探头的受油端处于加油锥套外轮廓所在区域的外部或者加油锥套在 0.2秒内移动距离大于设定阈值， 则输出异常信息 。 2.根据权利要求1所述的无人机自主空中加油受油探头与加油锥套视觉对齐方法， 其 特征在于： 所述步骤3中检测并跟踪加油锥套所在局部区域的具体步骤为： 3.1)事先训练的YOLO  v3目标检测所采用的训 练集合包括加油锥套在多种天气情况 下、 受油探头与加油锥套之间处于多种位置和角度、 不透明物体遮挡加油 锥套所遮挡不同 面积的场景， 所训练的训练集合中图像的分辨率大小为相 机最大可支持的分辨率， 训练至 迭代次数达 到10000次以上； 3.2)利用目标检测算法对整个图像范围内进行检测， 只保留在目标检测区域范围内的 结果， 在目标检测的结果集合中， 按检测置信度从大到小排序， 若目标检测的结果集合不为 空， 则视为此次的目标检测成功； 若目标检测的结果 集合为空， 则视为目标检测失败； 若检测成功， 将检测置信度最大的结果作为第一个满足要求的结果， 令生成区域比例 为scale， 由于是放大目标检测结果的区域， 因此scale大于1， 对获取到的加油锥套目标所 在图像中的大小与位置， 设目标所在图像左上顶点坐标为(left,top)、 宽为w、 高为h， 放大 规模size＝scale*(w +h)/2， 为了得到放大的目标检测区域， 对 该目标检测区域按照放大规 模size进行放大， 为防止放大后的区域超出图像的四个边界， 因此扩大后的区域的左上顶 点坐标为(max(0,left+w/2 ‑size/2),max(0,top+h/2 ‑size/2))、 宽为min(整幅图像宽,权　利　要　求　书 1/3 页 2 CN 114897984 A 2size)、 高为mi n(整幅图像高,size)， 将扩大后的区域作为 新的目标检测区域； 若目标检测失败， 则生成区域比例scale加1， 对当前目标检测区域， 设当前目标检测区 域的左上顶点坐标为(left,top)、 宽为w、 高为h， 放大规模size＝scale*(w+h)/2， 对该目标 检测区域按照放大规模size进行放大， 为防止放大后的区域超出图像的四个边界， 扩大后 的区域的左上顶点坐标为(max(0,left+w/2 ‑size/2),max(0,top+h/2 ‑size/2))、 宽为min (整幅图像宽,size)、 高为mi n(整幅图像高,size)， 将此 结果作为 新的目标检测区域； 3.3)采用卡尔曼滤波的目标跟踪算法获取加油锥套在图像 中所在的位置和大小； 当卡 尔曼滤波的目标跟踪算法被连续执行n帧图像后， n是预先所要设置的跟踪多少帧的数量， 则跳至步骤4； 且在执行n帧图像时， 将第n帧图像中加油锥套在图像中所在的位置扩大后的 区域作为下一帧目标检测算法要检测的区域， 具体步骤为： 首先令第n帧图像中生成区域比 例为scale， 设生成区域左上顶点坐标为(left,top)、 宽为w、 高为h， 放大规模size＝ scale* (w+h)/2， 对 该目标检测区域按照放大规模size进 行放大， 为防止放大后的区域超 出图像的 四个边界， 因此扩大后的区域的左上顶点坐标为(max(0,left+w/2 ‑size/2),max(0,top+h/ 2‑size/2))、 宽为min(整幅图像宽,size)、 高为min(整幅图像高,size)， 将此结果作为新的 目标检测区域。 3.根据权利要求1所述的无人机自主空中加油受油探头与加油锥套视觉对齐方法， 其 特征在于： 所述步骤4)的具体步骤为； 4.1)加油锥套的伞骨具有明显的尖锐角点， 利用加油锥套的自身结构将加油锥套模型 简化为关键点模型， 该模型 所包含各关键点分布在各个伞骨两端； 具体简化 步骤为： 获取加油锥套的16个关键点， 各关键点分布在各个伞骨的两端， 标记 的关键点位于加 油锥套的外轮廓和内轮廓分别有8 个关键点， 对于锥套外轮廓， 从处于最上方的位置处开始 按照逆时针方向， 以相同角度等比例的标记关键点的位置共标记8个关键点， 对于锥套内轮 廓， 从处于最上方的位置处开始按照逆时针方向， 以相同角度等比例的标记关键点的位置 共标记8个关键点； 采用监督下降方法进行训练和关键点检测， 设x0为训练集中所有 关键点的平均位置， x* 为标记的关键点位置， h(x)利用了sift特征作为关键点的局部特征来提取关键点特征， d (x)表示训练集中所有关键点的位置， 不断调节训练参数Δx， 使得x0趋于x*， 使如下式最小 化： f(x0+Δx)＝| |h(d(x0+Δx))‑h(d(x*))|| 对f(x0+Δx)做二阶泰勒 展开， 并对Δx求导且令其为0， 设φ0＝h(d(x0+Δx))， φ*＝h(d (x*))， 得到： 其中， H为海 森矩阵， J为 雅可比矩阵， 令 得到： xk＝xk‑1+Rk‑1φk‑1+bk‑1 待求的参数 可通过求 解如下式： 权　利　要　求　书 2/3 页 3 CN 114897984 A 3