(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210469572.9 (22)申请日 2022.04.28 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区 (72)发明人 宋玉德　林志赟　王博　韩志敏　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/80(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的垃圾种类检测与识别 方法及装置 (57)摘要 本发明公开了一种基于深度学习的垃圾种 类检测与识别方法及装置， 首先获取垃圾图像并 进行人工 标注得到标签文件， 然后选 择YOLOv5作 为基础网络， 在特征提取网络BackBone中加入超 轻量级注 意力模块， 识别到在 背景信息干扰下的 垃圾通道信息， 在特征融合网络Neck中利用 PyConv替换传统卷积， 捕捉特征图中不同层次的 特征并进行融合， 同时引入组卷积， 降低网络参 数量。 其次， 融合多个预测框的空间尺度信息并 引入非线性信息， 提升预测框的回归准确率。 最 后， 对网络模型进行剪枝， 以满足嵌入式设备的 要求， 将垃圾图像输入预测模型， 输出检测结果。 本发明在垃圾检测过程中有较高的准确性和实 时性， 对垃圾分类与检测的研究有较大的帮助。 权利要求书2页 说明书5页 附图4页 CN 114863255 A 2022.08.05 CN 114863255 A 1.一种基于深度学习的垃圾种类 检测与识别方法， 其特 征在于， 包括以下步骤： S1： 获取含有垃圾种类的若干图片， 建立垃圾数据集； S2： 以YOLOv5作为基础网络， 在特征提取网络BackBone部分加入轻量级注意力模块 ECANet， 对训练过程中的特征图施加权重以识别到背 景信息干扰下更为重要的垃圾有效区 域； 采用四种卷积核的金字塔卷积PyConv4替换网络CSPDarkNet中的卷积Conv， 得到改进后 的YOLOv5网络， 作为垃圾种类 检测与识别网络； S3： 基于YOLOv5中的NMS预测框， 使用CIoU计算， 对预测框进行加权操作， 并对加权结果 进行非线性操作； S4： 通过垃圾数据集对垃圾种类检测与识别 网络进行训练， 将实际生活场景中的垃圾 图片输入到训练后的垃圾种类检测与识别网络中进行预测， 得到图片中垃圾区域及类别信 息。 2.根据权利要求1所述的一种基于深度 学习的垃圾种类检测与识别方法， 其特征在于， 所述步骤S1中： 获取含有垃圾种类的若干图片， 利用目标检测标注工具LabelImg对图片进行标注， 得 到标注图片和标签文件； 使用Mosaic数据增强方法对随机挑选的多张图片进行翻转、 缩放、 色域变换操作， 并以 随机排列的方式将多张图片拼接为 一张图片， 建立垃圾数据集。 3.根据权利要求2所述的一种基于深度 学习的垃圾种类检测与识别方法， 其特征在于， 所述步骤S1中， 将标注图片和标签文件按照6： 2： 2的比例分为训练集、 验证集和测试集， 并 将标签文件转换为yolo格式， 修改配置文件coco.yaml中的垃圾类别数量和名称以及数据 集绝对路径， 修改模型配置文件yolov5s.yaml中的锚框大小和网络结构， 为网络训练做准 备； 对训练集的标注框使用K ‑means方法聚类产生共9个尺寸的锚框用于训练过程中快速 回归预测框 。 4.根据权利要求1所述的一种基于深度 学习的垃圾种类检测与识别方法， 其特征在于， 所述步骤S2中： 以YOLOv5作为基础网络， 该网络由特征提取网络Backbone、 特征融合网络Neck和检测 网络Head三部分构成； 在BackBone部分加 入超轻量级注意力模块ECANet， 对训练过程中的 特征图施加权重， 捕捉跨通道之 间的信息， 提取更重要的通道信息输入Neck进 行特征融合， 识别到背景信息 干扰下更为重要的垃圾有效区域； 将Neck部分中的卷积Conv替换为PyConv4， 利用四种卷积核， 尺寸分别为3 ×3、 5×5、 7 ×7， 9×9， 对特征图进行 卷积操作， 捕捉到特 征图中不同层次的特 征并进行 特征融合。 5.根据权利要求1所述的一种基于深度 学习的垃圾种类检测与识别方法， 其特征在于， 所述步骤S3的预测框具体 计算公式如下： 权　利　要　求　书 1/2 页 2 CN 114863255 A 2其中， bi表示对同一目标的第i个预测框， ci表示第i个预测框的置信度得分， bpre表示目 标的最终预测框， 表示目标置信度得分最大的预测框， wi表示第i个预测框的权 重， n表示预测框数量； 经过S1、 S2和S3步骤后， 在PyTorc h框架下进行模型训练， 训练结束得到模型权 重。 6.根据权利要求1所述的一种基于深度 学习的垃圾种类检测与识别方法， 其特征在于， 所述步骤S4中： 利用TensorRT将训练后的垃圾种类检测与识别网络部署到嵌入式设备上， 并使用GPU 加速， 将实际生活场景中的垃圾图片或视频流输入到网络中进行预测， 得到图片 中垃圾区 域及类别 信息。 7.一种基于深度学习的垃圾种类检测与识别装置， 包括存储器和一个或多个处理器， 所述存储器中存储有 可执行代码， 其特征在于， 所述处理器执行所述可执行代码时， 实现如 权利要求1 ‑6中任一项所述的基于深度学习的垃圾种类 检测与识别方法。 8.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 所述程序被处理器执行 时， 实现如权利要求1 ‑6中任一项所述的基于深度学习的垃圾种类 检测与识别方法。权　利　要　求　书 2/2 页 3 CN 114863255 A 3