(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210784698.5 (22)申请日 2022.07.05 (71)申请人 青岛理工大 学 地址 266000 山东省青岛市青岛经济技 术 开发区嘉陵江路7 77号 申请人 航天 （北京） 工业设备有限公司 　 北京航天科迈科技有限公司 (72)发明人 陈成军　沈飞翔　崔建伟　王兆福　 徐洋　 (74)专利代理 机构 福州科扬专利事务所(普通 合伙) 35001 专利代理师 唐进喜 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于Tran sformer的烟包切层断面异物 检测方法 (57)摘要 本发明公开了一种基于Tran sformer的烟包 切层断 面 异 物 检 测方 法 ， 构建 一 种基 于 Transformer烟包切层断面异物检测的网络模 型， 该网络模型包括四个模块： 局部信息增强模 块、 特征提取模块、 候选区域生成模块以及 目标 检测模块。 局部信息增强模块增强网络的全局建 模能力， 特征提取模块提出了一种新的Swin   Transformer  D‑Block结构， 候选区域生成模块 产生设定 大小的特征图， 用于目标检测模块对异 物的种类和位置进行识别和检测。 本发明结合局 部信息增强、 Swin  Transformer  D‑Block等方法 优点， 可提高检测网络对伪装目标异物和小目标 异物的检测能力与检测效率， 提升算法对于伪装 目标异物和小目标异 物的检测精度。 权利要求书2页 说明书6页 附图2页 CN 115147653 A 2022.10.04 CN 115147653 A 1.一种基于Transformer的烟包切层断面异 物检测方法， 其特 征在于， 包括以下步骤： S1:构建基于Transformer烟包切层断面异物检测的网络模型， 该网络模型包括四个模 块： 局部信息增强模块(1)、 特征提取模块(2)、 候选区域生成模块(3)以及目标检测模块 (4)； 该网络模型的训练过程包括以下步骤： S1‑1： 建立烟包切层断面异 物检测数据集， 作为输入图像； S1‑2： 所述局部信息增强模块(1)对所述输入图像进行图像信息增强， 输出 特征图D； S1‑3： 所述特 征提取模块(2)对特 征图D进行 特征提取， 输出 特征图F、 G、 H、 I； S1‑4： 所述候选区域 生成模块(3)融合特 征图F、 G、 H、 I， 生成设定大小的特 征图K； S1‑5： 所述目标检测模块(4)对特 征图K中异 物的类别和位置进行识别和检测； S1‑6： 利用所述输入图像迭代执行步骤S1 ‑2至S1‑5， 直至达到设定的训练次数， 保存最 后一次训练的模型； S2： 获取生产过程中的烟包切层断面图像， 作为待检测图像； S3： 将步骤S2所述待检测图像加载到步骤S1 ‑6保存的模型中， 得到生产过程中的目标 检测结果。 2.根据权利要求1所述的一种基于Transformer的烟包切层断面异物检测方法， 其特征 在于， 所述步骤S1 ‑1中建立烟包切层断面异物检测数据集的步骤具体如下： 首先筛选出包 含异物的烟包切层断面图片， 统计异物的类型和数量， 使得每一类异物的数量大体上相同； 然后对图像中的异 物进行标注； 最后将标注完成的数据转 化成所需格式的数据集。 3.根据权利要求1所述的一种基于Transformer的烟包切层断面异物检测方法， 其特征 在于， 所述局部信息增强模块(1)由三条支路组成， 支路a由3 ×3的卷积操作组成； 支路b由5 ×5的卷积操作和3 ×3的反卷积操作组成； 支路c由7 ×7的卷积操作和5 ×5的反卷积操作组 成。 4.根据权利要求1所述的一种基于Transformer的烟包切层断面异物检测方法， 其特征 在于， 所述特征提取模块(2)分为五个部分： Patch  Partition、 Stage1、 Stage2、 Stage3、 Stage4。 Stage1由Linear  Embedding和Swin  Transformer  D‑Block组成； Stage2、 Stage3、 Stage4均由Patc h Merging和Swin Transformer  D‑Block组成。 5.根据权利要求4所述的一种基于Transformer的烟包切层断面异物检测方法， 其特征 在于， 所述Swin  Transformer  D‑Block将稠密连接结构进行简化并与Swin  Transformer   Block进行结合， 将输入Swin  Transformer  D‑Block的特征图分别与经过MLP1和SW ‑MSA、 MLP2计算后的特征图进行相加， 使输入Swin  Transformer  D‑Block的特征图可以重复利 用， 由W‑MSA、 MLP1计算 生成的特 征图与其后续 步骤不执 行相加操作。 6.根据权利要求1所述的一种基于Transformer的烟包切层断面异物检测方法， 其特征 在于， 所述候选区域生 成模块(3)生 成候选区域的步骤 具体如下： 首先， FPN将特征提取模块 (2)提取的浅层细节信息和高层语义信息进行融合， 输出包含更多信息的特征图J； 然后， RPN对生成的特征图J做进一步的处理， 生成一系列的具有不同长度和 宽度的候选区域； 最 后， RolAlign对不同长度和 宽度的候选区域进行调整， 使其变成具有设定长度和宽度的特 征图Feature Map， 作为特 征图K输出。 7.根据权利要求1所述的一种基于Transformer的烟包切层断面异物检测方法， 其特征 在于， 所述目标检测模块(4)的任务是对候选区域生 成模块(3)生成的特征图进 行识别和检权　利　要　求　书 1/2 页 2 CN 115147653 A 2测， 主要完成两个任务： 对 所述特征图K内的目标进行分类、 Box  head通过边界框回归 F获得 目标的精确位置 。权　利　要　求　书 2/2 页 3 CN 115147653 A 3