(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211276583.1 (22)申请日 2022.10.19 (71)申请人 成都菁蓉联创科技有限公司 地址 610041 四川省成 都市中国 （四川） 自 由贸易试验区成都高新区益州大道北 段777号4栋1层附1090号 (72)发明人 张昆　廖元垲　杨汶　 (74)专利代理 机构 西安正华恒远知识产权代理 事务所(普通 合伙) 61271 专利代理师 黄鑫 (51)Int.Cl. G06T 3/40(2006.01) G06T 3/00(2006.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多无人机实时图像拼接方法及目 标检测方法 (57)摘要 本发明公开了一种基于多无人机实时图像 拼接方法及目标检测方法， 涉及图像处理技术领 域， 包括以下步骤： S1、 确定参考图像和待 拼接图 像； S2、 构建图像金字塔， 对每个无人机拍摄的 图 像计算参考图像特征点和待拼接图像特征点； S3、 将待拼接图像投影到参考图像的平面， 使用K 邻近算法计算参考图像的特征点和待拼接图像 的特征点的欧式距离， 其计算所得的最小值作为 匹配结果； S4、 根据匹配结果将待拼接的图像和 参考图像进行拼接， 得到拼接后的图像， 完成多 无人机实时图像拼接。 与现有技术相比， 本发明 拼接速度更快、 拼接效果更好、 检测速度更快， 能 减少误匹配； 能修正误差； 不同目标之间的关联 性更强。 权利要求书3页 说明书8页 附图1页 CN 115358930 A 2022.11.18 CN 115358930 A 1.一种基于多无 人机实时图像拼接方法， 其特 征在于， 包括以下步骤： S1、 确定参 考图像和待拼接图像； S2、 构建图像金字塔， 对每个无人机拍摄的图像计算参考图像特征点和待拼接 图像特 征点； S3、 将待拼接图像投影到参考图像的平面， 使用K邻近算法计算参考图像的特征点和待 拼接图像的特 征点的欧式距离， 其计算所 得的最小值作为匹配结果； S4、 根据匹配结果使用改进的RANSAC方法计算投影矩阵， 将待拼接的图像和参考图像 进行拼接， 得到拼接后的图像， 完成多无 人机实时图像拼接 。 2.根据权利要求1所述的一种基于多无人机实时图像拼接方法， 其特征在于， 步骤S1的 具体方式如下： 对无人机进行编号， 当无人机为奇数时选择编号为偶数的无人机作为参考无人机， 当 无人机为偶数时选择编号为奇数的无人机作为参考无人机， 将每个无人机拍摄的第一帧图 像作为第一类参考图像， 其余帧为第一类待拼接图像； 将参考无人机拍摄并进行拼接后的 图片作为第二类参考图像， 将非参考无人机拍摄并进 行拼接后的图片作为第二类待拼接图 像。 3.根据权利要求2所述的一种基于多无人机实时图像拼接方法， 其特征在于， 步骤S2的 具体方式如下： S2‑1、 使用3种不同尺寸的Boxfilter模板计算第一类参考图像每个像素的近似 Hessian值 ， 组成一个三维的近似Hessian值矩阵图； 选择图像的中间图层的近似 Hessian值矩阵作为第一类参 考图像； S2‑2、 将第一类参考图像 的每个像素点和三维的近似Hessian值矩阵图相邻的26个点 的值比较大小， 当该像素点 为最大值或最小值时， 确定该像素点 为特征点； S2‑3、 计算Harr小波特征值确保特征点方向不变性， 对特征点添加方向属性， 并将添加 了方向属性的特 征点放入集合FP中， 得到与第一类参 考图像相对应的集 合FP； S2‑4、 使用步骤S2 ‑1至步骤S2 ‑3同样的方法得到与第一类待拼接图像相对应的集合 PJ。 4.根据权利要求3所述的一种基于多无人机实时图像拼接方法， 其特征在于， 步骤S3的 具体实现方式如下： 对于属于同一个无 人机的所有图像， 进行以下操作： S3‑1、 将第一类待拼接图像投影到第一类参 考图像平面； S3‑2、 当采集的图像未出现刚性变换 时， 进入步骤S3 ‑5； 当采集的图像出现非刚性变换 时， 提取第一类参 考图像和第一类待拼接图像的四个顶点 坐标并进入步骤S3 ‑3； S3‑3、 根据公式： 权　利　要　求　书 1/3 页 2 CN 115358930 A 2得到四个顶点的偏移角度 ， ， ， ； 其中， 为图像出现非刚性变换时的横纵 坐标偏移量； 为第一类参考 图像的顶点坐标， 为第一类待拼接图像的顶点坐 标； 为四个顶点偏移角度的平均值； S3‑4、 根据公式： 得到四个顶点偏移角度的方差 ； 其中， =4； 表示第 个顶点的偏移角度； S3‑5、 当0 ≤ s ≤ 1.5时， 使用光速平差法对第一类待拼接图像进行修正； 当s  ＞  1.5时， 将第一类待拼接图像舍弃； S3‑6、 根据公式： 得到第一类参考图像的特征点和 待拼接图像的特征点的欧式距离 ； 其中， 为 第一类参 考图像特 征点， 为第一类待拼接图像特 征点； S3‑7、 计算由第 一类参考图像特征点构 成的数据集的中点与由第 一类待拼接图像特征 点构成的数据集的中点之 间的欧式距离， 并将其与第一类参考图像的特征点和 第一类待拼 接图像的特 征点的欧式距离 相比较， 把距离最小的匹配结果作为 最终匹配结果； S3‑8、 筛选出匹配结果对应的匹配点组成匹配点集， 即得到与每个无人机对应的匹配 点集。 5.根据权利要求4所述的一种基于多无人机实时图像拼接方法， 其特征在于， 步骤S4的 具体实现方式如下： 对于每一个匹配点 集， 进行如下操作： S4‑1、 从匹配点 集中随机抽取不共线的9对样本数据； S4‑2、 根据刚性变换函数： 构造模型M等式： 其中， 、 为第一类参考图像特征点， 为第一类待拼接图像特征点， 、 分别表示对图像刚性变换时横纵坐标偏移量； 表示匹配点 的偏移角度； a、 b、 c、 d、 e、 f、 g、 h、 i表示根据从匹配点 集中随机抽取的9对数据带入 模型M等式 中求得的参数； S4‑3、 将匹配点集中的匹配点随机带入模型M等式中进行迭代， 并设置迭代次数上限为 40次， 计算匹配点集中的匹配点与模 型M的投影误差， 将误差小于阈值的特征点计入初始 为权　利　要　求　书 2/3 页 3 CN 115358930 A 3