(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210693938.0 (22)申请日 2022.06.19 (71)申请人 河南中烟工业有限责任公司 地址 450000 河南省郑州市郑东 新区榆林 南路16号 (72)发明人 郭越　侯俊峰　周广旭　马媛媛　 郭海全　李松　李耀锋　王红超　 (74)专利代理 机构 北京维澳专利代理有限公司 11252 专利代理师 衣爱丽 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/80(2017.01) G06V 10/44(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 烟叶异物高精度识别方法、 系统、 电子设备 及计算机可读存 储介质 (57)摘要 本发明公开了一种烟叶异物高精度识别方 法、 系统、 电子设备及计算机 可读存储介质。 方法 包括： 制作数据集， 使用LabelImg工具对图像数 据进行标定， 记录物体的类别及位置信息， 将异 物类别标注接合到参杂异物的烟叶图片数据中， 形成训练数据； 通过将训练数据和实例训练数据 训练烟叶异物识别的所述深度卷积神经网络模 型； 将数据集导入烟叶异物识别的所述深度卷积 神经网络模 型中， 通过模型训练学习到的特征进 行预测； 得到的预测结果需要解码， 经过解码后 的先验框的位置就是最终预测结果的位置。 本发 明具有高精度的识别性能， 并且 借鉴了卷积神经 网络中自动提取目标特征的特性， 能够进行烟叶 中多种类型的异 物的识别。 权利要求书2页 说明书11页 附图5页 CN 114998287 A 2022.09.02 CN 114998287 A 1.一种烟叶异 物高精度识别方法， 其特 征在于， 所述方法包括： 步骤S1、 收集 参杂异物的烟叶的视频和图像， 并且 存储到数据库中； 步骤S2、 制作数据集， 使用工具对图像数据进行标定， 记录物体的类别及位置信息， 将 异物类别标注接合到参杂异 物的烟叶 图片数据中， 形成训练数据； 步骤S3、 搭建深度卷积神经网络模型； 步骤S4、 通过所述训练数据和实例训练数据训练烟叶异物识别的所述深度卷积神经网 络模型； 步骤S5、 将所述数据集导入烟叶异物识别的所述深度卷积神经网络模型中， 通过模型 训练学习到的特 征进行预测； 步骤S6、 得到的预测结果进行解码， 即是先验框的左上角和右下角的位置进行调整， 经 过调整后的先验框的位置就是最终预测结果的位置 。 2.根据权利要求1所述的一种烟叶异物高精度识别方法， 其特征在于， 在所述步骤S1 中， 收集参杂异物的烟叶的视频和图像的方法包括： 在烟厂的流水线上收集视频图像数据， 然后把视频图像数据处 理成图片数据。 3.根据权利要求1所述的一种烟叶异物高精度识别方法， 其特征在于， 在所述步骤S2 中， 使用工具对图像数据进 行标定， 记录物体的类别 及位置信息， 将异物类别标注接合到参 杂异物的烟叶 图片数据中， 形成训练数据的方法包括： 1)将目标物体的数据集图像导入标定 工具中； 2)通过工具对目标物体的位置和种类进行标注， 标注的结果生成一个对应图片的xml 格式的文件； 将目标 的最小的外接的矩形作为 目标的边界框， 所标注的目标物体的位置数 据就是目标边界框四个角的坐标； 用(xλ,yλ,wλ,hλ)表示标注的异 物类型的位置和相应的尺寸变化； 其中(xλ,yλ)为标注的坐标位置， wλ,hλ为标注的矩形定位框的宽和高。 4.根据权利要求3所述的一种烟叶异物高精度识别方法， 其特征在于， 在所述步骤S3 中， 搭建深度卷积神经网络模型的方法为： 选择Swim ‑Transformer ‑移位窗口的分层视觉转换， 作为模型的主干网络， 目的是提取 目标的特 征； 在所述Swim ‑Transformer之后， 引入BiFPN ‑加权双向特征金字塔特征融合网络， 高效 的双向跨尺度连接和 加权特征融合。 5.根据权利要求 4所述的一种烟叶异 物高精度识别方法， 其特 征在于， 在所述步骤S3中， 在所述Sw im‑Transformer之前， 所述深度卷积神经网络模型还 包括： 一个Patch  Partition ‑划分输入图片模块， 以4 ×4大小为一个patch小片， 划分后的维 度会变成(H /4)*(W/4)*48； 然后经 过一个Linear Embedding‑线性嵌入层。 6.根据权利要求5所述的一种烟叶异 物高精度识别方法， 其特 征在于， 训练的损失函数为： 其中b， bgt分别代表了预测框和真实框的中心点， 且ρ 代表的是计算两个中心点间的欧 式聚集， c代 表的是能够同时包 含预测框和真实框的最小闭包区域的对角线距离，权　利　要　求　书 1/2 页 2 CN 114998287 A 2IoU表示交并比； 具体公式为： IoU表示预测的边框面积为A和真实的边框面积为B的交集和并集的比值。 7.根据权利要求6所述的一种烟叶异物高精度识别方法， 其特征在于， 在所述步骤S4 中， 最终的预测结果 为： (xμ,yμ,wμ,hμ)为预测的对应的边界框的位置坐标； 用以下公式表示： xμ＝σ(xλ)+xgrid； yμ＝σ(yλ)+ygrid； 其中(xμ,yμ)为预测的坐标位置， (xgrid,ygrid)是当前网格左上角位置坐标； σ 的范围是0 ‑ 1的取值； wμ,hμ为预测的矩形定位框的宽和高。 8.一种烟叶异 物高精度识别系统， 其特 征在于， 所述系统包括： 第一处理模块， 被 配置为， 收集 参杂异物的烟叶的视频和图像， 并且 存储到数据库中； 第二处理模块， 被配置为， 制作数据集， 使用工具对图像数据进行标定， 记录物体的类 别及位置信息， 将异 物类别标注接合到参杂异 物的烟叶 图片数据中， 形成训练数据； 第三处理模块， 被 配置为， 搭建深度卷积神经网络模型； 第四处理模块， 被配置为， 通过将训练数据和实例训练数据训练烟叶异物识别的所述 深度卷积神经网络模型； 第五处理模块， 被配置为， 将数据集导入烟叶异物识别的所述深度卷积神经网络模型 中， 通过模型训练学习到的特 征进行预测； 第六处理模块， 被 配置为， 输出识别结果。 9.一种电子设备， 其特征在于， 所述电子设备包括存储器和处理器， 所述存储器存储有 计算机程序， 所述处理器执行所述计算机程序时， 实现权利要求1至7中任一项所述的一种 烟叶异物高精度识别方法中的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时， 实现权利要求1至7中任一项所述的一种烟叶异物 高精度识别方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114998287 A 3