(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211136715.0 (22)申请日 2022.09.19 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 张弘　郭威威　杨一帆　袁丁　 闫超奇　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 安丽　顾炜 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/34(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/14(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06N 3/063(2006.01) (54)发明名称 一种浅海水 下小样本目标检测系统及方法 (57)摘要 本发明公开了浅海水下小样本目标检测系 统及方法， 可通过被动成像方式对 水下障碍威胁 目标进行检测， 该系统包含宽频振动机电协同稳 像平台、 微偏振成像系统、 实时透海雾增强处理 装置、 边缘端神经网络计算单元及部署于其上的 水下特征退化目标小样本检测技术， 能够通过被 动光学成像手段解决浅海障碍威胁目标检测过 程中面临的平台抖动、 水雾降质、 样本不足等问 题。 该系统从前端成像设备、 后端处理算法两方 面同时着手， 提升了系统的成像清晰度， 并包含 智能化的检测模块及计算单元， 可以较低的成本 实现对水下障碍威胁目标的实时检测与渲染输 出。 权利要求书2页 说明书6页 附图4页 CN 115546623 A 2022.12.30 CN 115546623 A 1.一种浅海水下小样本目标检测系统， 其特征在于： 包括具备多角度成像特性的微偏 振成像CM OS层、 FPGA图像处理层、 边缘端神经网络计算单元； 具备多角度成像特性的微偏振 成像CMOS层通过 单次成像获取多张不同入射角度的阵列图像数据； FPGA图像处理层利用硬件电路的速度优势对图像， 采用实时透雾增强处理算法进行去 雾初步增强处理， 得到对比度更高的阵列图像数据； 并通过接口层将对比度更高的阵列图 像数据传输到边缘端神经网络计算单元中， 基于偏振成像CMOS层、 FPGA图像处理层组成的 成像设备， 从任务场景采集经过透雾增强处理的阵列图像数据， 对阵列图像数据中的小样 本目标进行 标注后形成数据集； 而后使用对比学习方法对基于分类强化的小样本水下特征退化目标检测网络进行训 练， 得到基于分类强化的小样本水下特征退化 目标检测算法权重文件， 并将权重文件部署 于边缘端神经网络计算单元中； 训练时网络输入为变换前后的两路图像、 网络结构为权重 共享的并行分支； 在训练过程中通过约束增强变换前后双路分支分类结果的一致性对网络 进行训练、 增强网络分类分支的判别能力； 边缘端神经网络计算单元以小于等于70W的典型功耗实时运行基于分类强化的小样本 水下特征退化目标检测算法： 边缘端神经网络计算单元在运行过程中接收由FPGA图像处理 层进行透雾增强处理后的阵列图像数据， 并通过部署于其上的基于 分类强化的小样本水下 特征退化 目标检测权重文件进行运算， 得到对应于每次阵列图像输入的目标检测结果， 将 运算得到的目标检测结果绘制到阵列输入图像上， 并将包含检测框结果的图像输出到外设 显示器中。 2.根据权利要求1所述的浅海水下小样本目标检测系统， 其特征在于： 所述微偏振成像 部分实现如下： (1)依据基板尺寸限制， 完成微偏振CMOS层、 FPGA图像处理层、 电源及接口层的PCB设 计， 微偏振层实现0 °、 45°、 90°、 135°微偏振阵列成像， 单次成像数据量超过同尺寸普通相 机； FPGA图像处理层配备DDR内存芯片， 实现对偏振阵列成像的缓冲， 并配备FPGA芯片以利 用其硬件电路的快速处理特性对微偏振CMOS层输出的阵列图像数据进行微秒级低延时增 强处理； (2)按从前向后的顺序排列微偏振CMOS层、 FPGA图像处理层、 电源及接 口层， 并通过刚 柔结合FPC软排线对微偏振CM OS层、 FPGA图像处理层、 电源及接口层的三层电路板进行柔性 互联， 抑制三层电路板在进行信号交互时的内部共生噪声、 提升原始光电信号转换 的信噪 比； 相较于主动探测成像方式的成本更低、 隐蔽性更强， 相较于传统光学相机能够有效抑 制散射大气光和水面杂散光的影响。 3.根据权利要求1所述的浅海水下小样本目标检测系统， 其特征在于： 所述基于分类强 化的小样本水 下特征退化目标检测算法的网络训练流 程如下： (1)首先获取浅海水下障碍目标的标注数据， 对原始数据进行平移、 旋转、 模糊数据增 强操作、 变换前后的阵列图像数据构成一组变换前后的图像数据对， 并计算数据增强变换 前后的投影 变换矩阵T； (2)对变换前后的数据对进行对比学习， 基于分类强化的小样本水下特征退化目标检 测算法中包含参数共享的上下两路分支， 上路分支 通过前向推理运算计算得到原始图像的权　利　要　求　书 1/2 页 2 CN 115546623 A 2位置提议、 投影变换矩阵T,将位置提议中四个坐标点依次乘以投影变换矩阵T后， 得到位置 提议在下支路从变换后图像中提取到的特 征中对应的区域； (3)在上下两路分支中， 分别按照位置提议在变换前后图像特征中的对应区域， 从变换 前后的两组图像数据的深度特征图中裁剪出对应区域的特征， 并分别依据裁剪得到的区域 计算分类结果， 通过度量损失最小化分类结果的差异， 达成对分类效果进 行增强的目的， 得 到基于分类强化的小样本水 下特征退化目标检测算法权 重文件。权　利　要　求　书 2/2 页 3 CN 115546623 A 3