(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210149519.0 (22)申请日 2022.02.18 (71)申请人 浙江大学嘉兴研究院 地址 314031 浙江省嘉兴 市秀洲区智富中 心48幢401室 (72)发明人 刘东　谢玥辰　张峻铵　胡晓波　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 彭剑 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/776(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于深度学习的废钢 判级方法 (57)摘要 本发明公开了一种基于深度学习的废钢判 级方法， 包括： (1)采集多个整车废钢卸载的视频 数据， 抽取多个图像帧进行人工标注， 数据扩增 后划分为训练集和测试集； (2)将训练集和测试 集中的所有图片 归一化； (3)构建判级模型， 判级 模型包括时空信息分离网络和改进的时间信息 融合网络； 时空信息分离网络用于从输入的图片 中提取一系列高维特征， 在整车废钢全部卸载 后， 将时空信息分离网络提取的特征输入改进的 时间信息融合网络， 获得整车判级结果； (4)利用 训练集对判级模型进行训练； (5)对于待判级的 废钢， 利用摄像机拍摄整车废钢卸载视频， 截取 视频帧输入训练完的判级模型， 得到废钢判级结 果。 利用本发明， 可 以实现对废钢的有效准确判 级。 权利要求书2页 说明书4页 附图3页 CN 114581381 A 2022.06.03 CN 114581381 A 1.一种基于深度学习的废钢 判级方法， 其特 征在于， 包括以下步骤： (1)采集多个整车废钢卸载的视频数据， 从每个视频数据中抽取多个关键图像帧后对 废钢等级进行人工标注， 使用数据扩增的方法对图像 帧进行扩充， 并将扩充后的数据集 随 机划分为训练集和 测试集； (2)将训练集和 测试集中的所有图片归一 化； (3)构建判级模型， 所述的判级模型包括时空信息分离网络和改进的时间信息融合网 络； 其中， 所述的时空信息 分离网络用于从输入的图片中提取一系列高维特征， 在整 车废钢 全部卸载后， 将时空信息分离网络提取 的特征输入 改进的时间信息融合网络， 获得整车判 级结果； (4)利用训练集对判级模型进行训练， 得到训练完成的判级模型； (5)对于待判级的废钢， 利用摄像机拍摄整车废钢卸载的视频， 截取视频帧输入训练完 的判级模型， 得到最终的废钢 判级结果。 2.根据权利要求1所述的基于深度 学习的废钢判 级方法， 其特征在于， 步骤(1)中， 使用 数据扩增的方法具体为： 对图片随机采用随机旋转、 水平翻转和随机裁剪方法中的一种， 进 行数据扩增。 3.根据权利要求1所述的基于深度学习的废钢判 级方法， 其特征在于， 将扩充后的数据 集的80％作为训练集， 20％作为测试集。 4.根据权利要求1所述的基于深度 学习的废钢判 级方法， 其特征在于， 步骤(2)中， 将训 练集和测试集中的所有图片归一 化的具体步骤为： 首先对训练集进行零均值化， 即计算特征的均值 其中X(i)表示训练集中 的第i个数据； 再用X ‑μ代替原训练集X， 使得训练集中的每个数据特征的均值为0； 接着对零 均值化后的训练集进行归一化方差， 即计算特征的方差 其中X′(i)表示 零均值化后的训练集中的第i个数据， 再用 代替零均值化后的训练集X ′， 使得训练集中 的每个数据特征 的方差为1； 此外， 对于测试集采用相同的归一化方法， 并且需要采用与训 练集相同的μ和σ2。 5.根据权利要求1所述的基于深度 学习的废钢判 级方法， 其特征在于， 步骤(3)中， 所述 的时空信息 分离网络采用ResNet50网络， 以拍摄同一辆车厢上的废钢的一组关键图像帧为 单次的输入， 假设每次输入n张RGB三通道图片， 大小为h ×w， 则先通过ResNet50提取图片中 废钢的等级分布信息， 得到n个大小为nH×nW、 通道数为nC的特征图， 再经过特征拼接得到了 一辆车厢上的废钢特 征信息。 6.根据权利要求1所述的基于深度学习的废钢判 级方法， 其特征在于， 所述改进的时间 信息融合网络具体结构如下： 首先使用4个带有n ×1×1的卷积核算子的3DCNN处理时空信息分离网络中得到的特 征， 其中3D卷积层的步长为1， 填充为1 ×0×0； 接着再用一个2D池化层对3DCNN的输出进行 最大池化； 最后用展平层和全连接层处理池化层的输出， 得到该车厢上废钢的分类结果， 具权　利　要　求　书 1/2 页 2 CN 114581381 A 2体输出为 一个onehot形式的主料种类向量。 7.根据权利要求1所述的基于深度 学习的废钢判 级方法， 其特征在于， 步骤(4)中， 对判 级模型进行训练时使用反向传播 算法。 8.根据权利要求1所述的基于深度 学习的废钢判 级方法， 其特征在于， 步骤(5)中， 得到 最终的废钢 判级结果 转换为固定格式的文档或输出到终端。权　利　要　求　书 2/2 页 3 CN 114581381 A 3