(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211005918.6 (22)申请日 2022.08.22 (71)申请人 重庆科技学院 地址 401331 重庆市沙坪坝区大 学城东路 20号 (72)发明人 周伟　胡瑞　闵宣霖　李想成真 　 陈凡　易军　刘洪　黄河　黄迪　 (74)专利代理 机构 重庆蕴博君晟知识产权代理 事务所(普通 合伙) 50223 专利代理师 王玉芝 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/40(2022.01)G06V 10/10(2022.01) G06N 5/04(2006.01) (54)发明名称 基于边缘计算的小目标检测系统 (57)摘要 本发明提供了一种基于边缘计算的小目标 检测系统， 系统主要由网络摄像头和边缘设备构 成。 针对小目标检测， 本发明在边缘设备上部署 了基于YOLOX的小目标检测模型。 该模型增加了 一个微小目标检测头以缓解检测尺度变化带来 的负面影 响， 缩小尺度特征方差以及小目标特征 优化难度， 增加小目标检测准确率， 在标签分配 损失矩阵以及损失函数上采用Focal ‑Loss损失 函数以缓解类别不平衡问题； 同样地， 为了优化 位置回归任务,采用GIOU ‑Loss对标签分配权重 矩阵以及梯度传播进行优化。 模 型中的特征提取 骨干层采用CSPRepResNet， 并在特征融合层中的 采用无参下采样方式以提高推理速度。 通过局域 网将网络摄像头获取的数据流传输给边缘设备 以完成检测并保存检测结果， 保证了边缘设备端 小目标检测的实时性、 高效性以及灵活性。 权利要求书1页 说明书5页 附图4页 CN 115393689 A 2022.11.25 CN 115393689 A 1.基于边 缘计算的小目标检测系统， 该系统包括以下步骤： S1： 使用网络摄 像头采集数据， 并在其中加入公共数据作为数据集； S2： 对数据 集图像使用放射变换、 随机旋转和Mosaic等数据增强策略可以丰富数据集、 增加网络模型泛化 性； S3： 改进YOLOX网络对小目标进行检测， 骨干网络采用CSPRepResNet网络， 在加 快模型 推理速度的同时提高网络检测精度； 把PA N‑FPN层中将下采样使用的卷积去掉， 采用无参下 采样的方式降低参数量； 在检测层原有的三个检测头的基础上增加一个浅层特征的检测 头， 提取更大的感受野特 征； S4： 在网络模型的标签分配损失矩阵以及损失函数上采用Focal ‑Loss损失函数以缓解 现实中存在的类别样 本不平衡问题， 并进一步优化检测框回归任务,采用GIOU ‑Loss进行标 签分配以及 梯度传播； S5： 将改进后的YOLOX模型部署在边缘设备JETSON  XAVIER NX上， 使用网络摄像头的视 频流作为模型 的输入， 并在边缘设备端将数据流进行前向推理得出检测结果， 然后将结果 实时展示在外 接显示器的同时把检测画面截图保存至 本地日志中。 2.根据权利要求1所述基于边缘计算的小目标检测系统， 其特征在于步骤S3所述， 改进 YOLOX网络对小目标进行检测， 其具体步骤为： S31： 采用RepResB lock模块在 提高精度的同时加速前向推理， 将多个RepResB lock模块 进行堆叠搭建成CSPRepResNet特征提取网络， 使用CSPRepResNet作为模 型的骨干网络能够 提高网络的推理速度； S32： 将YOLOX网络结构中的PAN ‑FPN网络中的所有卷积去掉， 采取无参下采样的方式， 只保留从骨干网络特征提取后的1x1卷积来进行特征通道维度的对齐， 上采样和下采样均 使用插值 来完成以提高模型推理速度； S33： 设计新的YOLOX网络结构的检测层， 以输入尺寸大小为3 ×640×640的图像为例， 在保留检测层特征图大小为80 ×80、 40×40和20×20的基础上， 新增一个特征图大小为160 ×160的检测头以适应微小目标检测， 新增检测头能够缓解检测尺度变化带来的负面影响， 缩小尺度特 征方差以及小目标 特征优化难度， 增 加小目标检测准确率。 3.根据权利要求1所述基于边缘计算的小目标检测系统， 其特征在于步骤S5所述， 将改 进后的YOLOX模型部署在边 缘设备JETSON  XAVIER NX上， 其具体步骤为： S51： 使用TensorRT框架在边缘设备端加速推理， 利用ONNX框架做为中间框架完成由 PyTorch模 型文件到TensorRT模型文件的转换； 将上述改进后的YOLOX模型经过训练后得到 最优权重文件， 在服务器上将权重文件转换成基于ONNX框架的模型文件， 最后在边缘设备 上将ONNX模型转换成基于TensorRT的模型文件后进行 前向推理以实现硬件加速功能； S52： 把边缘设备和网络摄像头部署在同一局域网下， 并使用GStreamer的解码方式对 网络摄像头的输入进 行视频解码以保证检测结果在外接显示器显示的流畅性， 同时将检测 画面截图保存至本地日志中； 技术人员可以定期将检测后的图片进行人工筛选， 并放入网 络中扩充数据样本以优化网络性能以进一 步提高准确率。权　利　要　求　书 1/1 页 2 CN 115393689 A 2基于边缘 计算的小目标 检测系统 技术领域 [0001]本发明涉及深度学习中的目标检测领域， 具体涉及基于边缘计算的小目标检测系 统。 背景技术 [0002]以深度学习为主要手段的目标检测一直是计算机视觉热点任务之一， 其目的在于 对图片中的目标进 行归类以及定位； 其中， 在目标检测领域， 针对小目标进行检测是长期以 来目标检测中的一个难点及重点， 相对于常规尺寸的目标， 小目标通常缺 乏充足的外观信 息， 因此难以将它们与背 景或相似的目标区分开来； 具体而言， 小目标检测旨在精准检测出 图像中可视化特征极少的目标(32像素 ×32像素以下的目标)； 在实际工地应用场景中， 由 于监控摄像头处于高位， 施工人员安全帽的尺度往往较小； 因此小目标大量存在于工地应 用场景。 [0003]针对施工现场的工作人员安全帽佩戴的检测识别， 使用服务器后台来完成视频的 实时监测往往成本较大； 利用边缘设备进行实时目标检测在一定程度上灵活性更佳。 并且 施工场所通常会遇到因监控设备安装位置导致画面视觉效果不同、 检测范围可能较远、 目 标区域在监控画 面中所占像素点较少等问题。 这些情况将会导致很多现有神经网络模型的 识别准确率 不尽人意， 会出现较多的误检、 漏检问题。 发明内容 [0004]针对目前小目标检测的重要性， 本 发明在对YOLOX模型的改进的基础上， 提出了一 个基于边缘计算的小目标检测系统， 用以解决在边缘设备上现有网络对小尺寸目标识别效 果不佳的问题， 尤其是改善对施工现场人员安全帽佩戴情况的识别能力。 [0005]实现本发明的技 术方案是： [0006]S1： 使用网络摄 像头采集数据， 并在其中加入公共数据作为数据集； [0007]S2： 对数据集图像使用放射变换、 随机旋转和Mosaic等数据增强策略可以丰富数 据集、 增加网络模型泛化 性； [0008]S3： 改进YOLOX网络对小目标进行检测， 骨干网络采用CSPRepResNet网络， 在加快 模型推理速度的同时提高网络检测精度； 把PAN ‑FPN层中将下采样使用的卷积去掉， 采用无 参下采样的方式降低参数量； 在检测层原有的三个检测头的基础上增加一个浅层特征的检 测头， 提取 更大的感受野特 征； [0009]S31： 本发明采用了CSPRepResNet骨 干网络进行特征提取， 以降低模型在边缘设备 上的推理损耗； 该骨干网核心组件由RepResBlock组成， RepResBlock借鉴了ResNet、 CSPNet 和RepVgg等经典网络的思想； 通过组件堆叠以及在每个特征提取 阶段中进行残差连接， 在 不损失精度的情况下避免了大量3 ×3卷积层复用带来的冗余参数； 进一步地， 通过增加ES E (Effective  SE Attention)通道注意力模块使得特征提取更倾向于目标区域以提高模型 检测精度。 相较于YOLOX所使用的CSPDarknet， CSPRepResNet具有较强的特征提取性 能， 并说　明　书 1/5 页 3 CN 115393689 A 3