(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210192699.0 (22)申请日 2022.03.01 (71)申请人 浙江大学嘉兴研究院 地址 314031 浙江省嘉兴 市秀洲区智富中 心48幢401室 (72)发明人 刘东　吴雨涛　陈炜彬　胡晓波　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 彭剑 (51)Int.Cl. G06V 20/40(2022.01) G06T 7/70(2017.01) G06N 3/04(2006.01) G06K 9/62(2022.01) H04N 7/18(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/00(2017.01) (54)发明名称 一种废钢智能判级 装置 (57)摘要 本发明公开了一种废钢智能判级装置， 包括 图像采集系统和图像处理系统， 其中， 所述的图 像处理系统包括视频抽帧模块和废钢判级模块； 所述的图像采集系统用于实时采集废钢卸车的 视频并发送给视频抽帧模块， 所述的视频抽帧模 块用于将接收的视频进行抽帧后发送给废钢判 级模块， 所述的废钢判级模块使用深度学习技术 检测视频帧中的废钢并自动对废钢进行判级； 所 述的视频抽帧模块中包含用于检测钢爪位置的 目标检测算法以及用于检测卸货车辆位置的分 割算法。 利用本发明， 可 以实现高效准确的废钢 自动化分类， 降低人力物力消耗， 帮助更有效的 利用和管理快速增长的废钢资源。 权利要求书2页 说明书5页 附图1页 CN 114565877 A 2022.05.31 CN 114565877 A 1.一种废钢智能判级装置， 其特征在于， 包括图像采集系统和图像处理系统， 其中， 所 述的图像处 理系统包括视频抽帧模块和废钢 判级模块； 所述的图像采集系统用于实时采集废钢卸车的视频并发送给视频抽帧模块， 所述的视 频抽帧模块用于将接收的视频进 行抽帧后发送给废钢判级模块， 所述的废钢判级模块使用 深度学习技 术检测视频帧中的废钢并自动对废钢进行判级； 所述的视频抽帧模块中包含用于检测钢爪位置的目标检测算法 以及用于检测卸货车 辆位置的分割算法， 具体抽帧过程如下： (1)由基于YOLOv3的目标检测算法得到钢爪位置(x,y,w,h)， 将(x+w/2,y+h/2)作为钢 爪位置(x0,y0)； (2)由基于Deepl ab的分割算法检测车辆位置， 将包含车辆信息的像素点赋值为1， 不包 含车辆信息的像素点赋值 为0， 得到车辆预测二 值结果图； (3)将钢爪位置(x0,y0)点乘车辆预测 二值结果图， 点乘结果作为钢爪与车辆相对位置 值P； (4)重复以上步骤， 记录钢爪与车辆相对位置值P的历史信息， 当P值历史信息在2秒内 保持为0时， 计算当前图像的透射 率， 根据下式计算 其中， 上标 “～”表示预估值， ω＝0.95， I(y)为暗通道， Ω(x)是以像素X为中心的一个 9*9窗口， c表示彩色图像每个通道， A为历史经验值， 为透射率， 当t小于0.5时则将当前 图像输出为当前帧。 2.根据权利要求1所述的废钢智能判级装置， 其特征在于， 所述的目标检测算法将 YOLOv3网络 中的Darknet替换为基于深度可分离卷积的MobileNet， MobileNet用于把标准 卷积分解成深度卷积和逐点卷积， 对于一个Same卷积层， 假设输入特征图的尺寸为(nH1, nW1,nC1)， 其中nH1×nW1是特征图的大小， nC1是特征图的通道数， 且输出特征图的通道为nC2； 卷积核被分为(f,f,1,nC1)和(1,1,nC1,nC2)两种卷积核， 前者滤波， 后者改变通道数。 3.根据权利要求1所述的废钢智能判级装置， 其特征在于， 所述的分割算法基于 Deeplab网络， 在DeepLab网络Encoder主体部分中， 将原图像使用灰度共生矩阵法提取图像 共生矩阵和对应纹理特征， 并将其作为特征合并到网络输出结果中进 行降维； Encoder输出 的特征图经过双 线性上采样4倍得到跨度为4的特征图A， 再取Encoder中对应着相同分辨率 的特征层， 经过1 ×1卷积降通道， 此时输出特征图为B； 两个特征图A和B做concat拼接， 再经 过一个3×3卷积细化特 征， 最终再双线性上采样4 倍得到预测结果。 4.根据权利要求1所述的废钢智能判 级装置， 其特征在于， 所述的视频采集装置包括底 部设有滑轮的机箱、 固定在机箱上 的可升降竖杆以及与可升降竖杆顶端固定的横梁， 所述 横梁的一端设有光学成像模块， 另一端设有无线网桥； 光学成像模块拍摄的视频通过无线传输的方式发送给图像处理系统， 图像处理系统检 测废钢并自动判级。 5.根据权利要求4所述的废钢智能判 级装置， 其特征在于， 所述的可升降竖杆采用气压 升降， 所述的机箱内设有气泵、 蓄电池和配重块； 所述的气泵用于将 压力气体泵入可升降竖权　利　要　求　书 1/2 页 2 CN 114565877 A 2杆从而将竖 杆各节升起； 所述竖 杆顶端设有四个挂钩。 6.根据权利要求4所述的废钢智能判 级装置， 其特征在于， 所述的废钢智能判 级装置还 包括客户端， 所述的客户端与图像处理系统之间保持TCP协 议通讯， 实时观测和控制废钢检 测的状态； 图像处理系统将处理整车的结果 发送到客户端， 在客户端 可进行输出报告、 结果 查询核对操作。 7.根据权利要求6所述的废钢智能判 级装置， 其特征在于， 所述的客户端由数台便携式 计算机构成， 便携计算机搭载了废钢智能判级装置的终端软件， 用于显示废钢智能判级装 置的运行状态， 包括光学成像模块所采集的图像、 废钢智能判级的结果和运行时状态、 对应 的车辆信息 。 8.根据权利要求1所述的废钢智能判 级装置， 其特征在于， 所述图像处理系统中的视频 抽帧模块和废钢判级模块之间通过TCP协议进行传输， 将待传输图像各像素点顺序转为 int64格式信息， 并在数据信息前添加传输协 议信息； 添加的传输协 议信息包括数据包头包 尾、 命令域、 数据长度域和校验码； 其中， 包头包尾信息包括8位二进制数据， 命令域包括3位 二进制数据， 数据长度域包括由i nt64组成的二进制数据， 校验码为海明校验码。权　利　要　求　书 2/2 页 3 CN 114565877 A 3