(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211170581.4 (22)申请日 2022.09.23 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 王行健　陈积明　程鹏　周成伟　 史治国　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于孪生跟踪网络和异常调度器的无人机 高速检测方法 (57)摘要 本发明公开了一种基于孪生跟踪网络和异 常调度器的无人机高速检测方法。 该方法包括以 下步骤： 1.采集无人机飞行视频， 进行数据标注 与数据增强后获取无人机视频检测数据集； 2.针 对一阶段检测网络分支， 设计并构建共享部分权 重的孪生跟踪网络分支， 对被检测到的无人机进 行高速跟踪； 3.设计基于通道混合描述子的背景 抑制机制， 提高在复杂背景中跟踪无人机的精 度； 4.设计基于离群检测的调度网络分支， 调用 跟踪来对检测结果进行高速插补， 并基于跟踪质 量评估与异常状态评估在跟踪失败时自动重新 调用检测； 5.在无人机视频检测数据集上对检 测、 跟踪和调度分支依次进行训练， 推理时通过 检测与跟踪相互配合实现低算力、 高速的无人机 检测。 权利要求书4页 说明书10页 附图2页 CN 115512264 A 2022.12.23 CN 115512264 A 1.一种基于孪生跟踪网络和异常调度器的无人机高速检测方法， 其特征在于， 包括以 下步骤： 步骤一： 采用光电传感器对飞行中的无人机在不同背景下摄录多组视频， 形成视频集， 标注每帧目标的矩形包络框， 并针对环境光照变化和雨雾天气设计亮度抖动算法和双重模 糊算法， 对视频集进行 数据增强， 最终 获取无人机视频检测数据集； 步骤二： 针对一阶段检测网络分支， 设计并构建基于残差网络和卷积互相关性计算的 孪生跟踪网络分支， 对被检测到的无人机进行高速跟踪， 孪生跟踪网络分支与检测网络分 支共享部分特 征提取层； 步骤三： 在孪生跟踪网络分支中设计基于通道混合描述子的背景抑制机制， 构造了有 效表达通道特征图全局信息的通道混合描述子来准确判别背 景通道， 基于通道注意力机制 来抑制特 征的背景通道并增强特 征的前景通道， 提高在复杂背景中跟踪无 人机的精度； 步骤四： 设计基于离群检测的异常调度器， 调用跟踪操作来对检测结果进行高速插补， 并通过基于标准化流的离群检测来评估目标跟踪质量与 跟踪异常状态， 根据 跟踪质量评估 与异常状态评估结果自适应地切换检测和跟踪状态， 在加速检测的同时， 提升检测与跟踪 协作框架下的总体 检测精度； 步骤五： 训练阶段在无人机视频检测数据集上分别训练检测网络分支和孪生跟踪网络 分支， 并采用该数据集中孪生跟踪网络 分支对应的正样本来训练基于离群检测的异常调 度 器， 推理阶段由基于离群检测的异常调 度器自适应地切换检测和跟踪来 实现对无人机的低 算力、 高速检测。 2.如权利要求1所述的基于孪生跟踪网络和异常调度器的无人机高速检测方法， 其特 征在于， 所述步骤一中亮度抖动算法随机更改图片亮度并进 行红蓝通道的抖动来模拟随时 间变化的环境 光照对图片亮度的改变； 具体而言， 亮度抖动算法首先对图像进行随机 的亮度抖动， 假设pxyc∈[0， 255]是输入 RGB图像I∈R3×H×W上的像素点， 其中H和W是 图像的宽度与长度， x∈{1， 2， ...， W}且y∈{1， 2， ...， H}是像素点在图像上的平面坐标， c∈{r， g， b}是输入RGB图像的三个通道； 对于a， b ∈R， 定义a∨b和a∧b分别表示a， b中的最大值和最小值， 则图像亮度的随机抖动如公 式(1) 所示： 其中， p′xyc表示输出的像素点， g～U(tgl， tgh)和γ～U(tγl， tγh)对应于改变图像亮度的 增益和伽马参数， U表示均匀分布， tgl， tgh， tγl， tγh是控制g和γ分布的参数； 然后， 亮度抖动算法针对清晨到黄昏的环境光照色温变化， 随机对红蓝通道的像素强 度进行反方向的加减， 假设p ′xyr， p′xyg， p′xyb分别表示红、 绿、 蓝通道的像素， 则对于图像色 温的随机抖动如公式(2)所示： 其中δ～U(tδl， tδh)表示对红蓝通道进行 强度加减的随机变量， δ 的增加会增加图片的色权　利　要　求　书 1/4 页 2 CN 115512264 A 2温， tδ l和tδ l控制 δ 的分布。 3.如权利要求1所述的基于孪生跟踪网络和异常调度器的无人机高速检测方法， 其特 征在于， 所述步骤一中双重模糊算法随机对图片添加雾气掩膜， 并进行高斯滤波模糊处理 来模拟雨雾天气无 人机边缘的模糊效应； 具体而言， 双重模糊算法计算输入图像与等尺寸 白色掩膜的加权平均， 并使用高斯滤 波核对图像做卷积来弱化图像的边 缘纹理特征， 如公式(3)所示： Iout＝α·G(Iin)+255·(1‑α )·13×H×W， #(3) 其中Iin， Iout∈R3×H×W分别表示输入与输出 图像， H和W是图像的宽度与长度， α～U(tαl， tα h)表示掩膜加权平均的权重， U表示均匀分布， 13×H×W表示作为白色掩膜的全一矩阵， G( ·) 表示高斯滤波函数， tα l和tα h用以控制无 人机边缘模糊的程度。 4.如权利要求1所述的基于孪生跟踪网络和异常调度器的无人机高速检测方法， 其特 征在于， 所述步骤二中设计并构建基于残差网络和卷积互相关性计算的孪生跟踪网络分 支， 从而为一阶段检测网络提供高速的跟踪辅助检测， 并与检测网络共享部 分特征提取层， 在两次检测之间提供对目标实时跟踪的结果； 具体而言， 在检测网络给定无人机监测画面上一帧Ft‑1中目标对应的图像区域z后， 孪 生跟踪网络需在当前帧Ft与z对应的一个更大的搜索区域x中找到目标区域， 为此， 孪生跟 踪网络分支首先利用特征提取层为z和x分别提取特征图， 并将从z和x 上分别提取得到的特 征沿通道维度相加， 得到跟踪特征图fz与fx， 特征提取之后以fx为卷积对象， 以fz为卷积核， 进行卷积操作来计算特征图相关性， 最终得到跟踪分数图f＝fx*fz+bI， 其中*为卷积运算 符， 范围调节 因子b为任意实数， I为与fx*fz结果同尺寸的单位矩阵， 跟踪分数图f的最大置 信度处对应无 人机的目标位置区域。 5.如权利要求1所述的基于孪生跟踪网络和异常调度器的无人机高速检测方法， 其特 征在于， 针对特征提取层的设计， 考虑到与检测网络复用部分网络层的同时保持孪生跟踪 网络的全卷积性， 构建了全卷积特征提取网络， 包含起始层和三个残差模块， 共16层， 其中 前两个残差模块与检测网络共享； 起始层由一层卷积核 大小为7×7、 填充边距 为1、 步长为 1 的卷积层构成， 三个残差模块包含15层卷积层， 第k个残差模块包含一层降采样层和k层残 差层， 其中每个降采样层采用卷积核大小为3 ×3、 填充边距为1、 步长为2的卷积层， 每个残 差层利用一层卷积核 大小为3×3、 填充边距为0、 步长为 1的卷积层和一层卷积核 大小为1× 1、 填充边距为0、 步长为1的卷积层提取特征， 并将该残差层的输出特征图与该残差层的输 入特征图进行跨层连接， 在跨层连接之后对拼接得到的特征图裁剪掉其最外层的一圈像 素， 即裁剪内边距等于1； 由此， 为跟踪辅助孪生网络构建得到与检测网络部分共享的特征 提取层。 6.如权利要求4所述的基于孪生跟踪网络和异常调度器的无人机高速检测方法， 其特 征在于， 所述步骤三中基于通道混合描述子的背景抑制 机制， 针对复杂背景中跟踪容易漂 移的问题， 对跟踪特征 图fx的各个通道提取其描述通道全局信息 的通道混合描述子， 根据 通道混合描述子运用通道注意力机制来计算不同通道的分数， 并与原始跟踪特征图fx加权 得到背景抑制后的跟踪特 征图fx′， 赋予背景通道更小的权值 来抑制背景； 具体而言， 首先对跟踪特征图fx提取描述全局信息的通道混合描 述子， 对于通道数c、 高 h、 宽w的特征图fx∈Rc×h×w， 分别计算其每个通道特征图的均值、 最大值和平均方差来作为权　利　要　求　书 2/4 页 3 CN 115512264 A 3