(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111671344.1 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114372968 A (43)申请公布日 2022.04.19 (73)专利权人 江南大学 地址 214122 江苏省无锡市滨湖区蠡湖大 道1800号 (72)发明人 狄岚　邓世爽　顾雨迪　余越　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 马建军 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113192040 A,2021.07.3 0CN 112233090 A,2021.01.15 CN 110197208 A,2019.09.0 3 CN 113705478 A,2021.1 1.26 CN 1085201 14 A,2018.09.1 1 US 2021319420 A1,2021.10.14 麻森权 等.基 于注意力机制和特 征融合改 进的小目标检测算法. 《计算机 应用与软件》 .2020,(第0 5期), 邓世爽 等.结合注意力机制与自适应记 忆 性融合网络的纺织品瑕疵检测. 《模式识别与人 工智能》 .202 2,第35卷(第6期), Mengmeng Huang 等.F ew samples of SAR automatic target recogn ition based o n enhanced-shape CN N. 《Journal of mathematics》 .2021,第2021卷 Rui Jin 等.Automatic fabric defect detection based o n an improved YOLOV5. 《Mathematical problem s in engineering》 .2021,第2021卷 审查员 高婕 (54)发明名称 结合注意力机制与自适应记忆性融合网络 的瑕疵检测方法 (57)摘要 本发明公开了一种结合注意力机制与自适 应记忆性融合网络的织物瑕疵检测方法， 包括训 练阶段和测试阶段； 所述训练阶段通过对带标签 瑕疵图像的训练得到一个模型； 所述测试阶段使 用所述训练阶段通过训练得到的所述模型进行 织物瑕疵的检测与识别。 本发明提出结合注意力 机制与自适应记忆性融合网络的织物瑕疵检测 方法与Faster_rcnn、 Cascade_rcnn、 YOLOv3、 YOLOv4以及YOLOv5m、 YOLOv5l、 YOLOv5x等 现有目 标检测模型的实验结果比较分析， 具有较高的检 测精度和检测速度。 权利要求书2页 说明书9页 附图3页 CN 114372968 B 2022.12.27 CN 114372968 B 1.结合注意力机制与自适应记忆性融合网络的瑕疵检测方法， 其特征在于： 包括训练 阶段和测试阶段； 所述训练阶段通过对带有标签的织物瑕疵数据集进行训练得到织物瑕疵检测模型； 所述测试阶段通过 所述训练阶段 得到的织物瑕疵检测模型进行检测与识别； 所述训练阶段包括以下步骤， 将带有标签的瑕疵图像输入骨干网络SCNet中， 提取不同尺度瑕疵特 征； 所述瑕疵特征通过自适应记忆性特征融合网络进行不同尺度瑕疵特征融合和浅层定 位信息增强， 得到三个不同尺度结合了 浅层定位信息和高层语义信息的特 征图； 在所述特 征图的基础上， 根据groundt ruth， 进行损失计算； 使用随机梯度算法SGD进行反向传播， 更新网络 权重； 所述骨干网络SCNet引入了SCBAM注意力机制， 通过所述SCBAM注意力机制对所述带有 标签的瑕疵图像进行 特征提取； 在SCBAM通道维度 中使用软池化SoftPool进行下采样， 在反向传播期间， 内核领域R内 的所有激活将至少被分配一个最小梯度值； 所述SCBAM注意力机制包括， 在SCBAM通道模块， 引入SoftPo ol， 提取更多细节信息； W0∈RC/r×C,W1∈RC×C/r, 式中， σ 为sigmoid操作， r表示减少率， W0， W1为MLP权重， W0后面需要接ReLU激活， C表示 神经网络 MLP输入、 输出维度数， c表示 通道维度， F代 表输入特 征图； 在骨干网络中引入SCBAM注意力机制， 在下采样激活映射中保留了更多的信息， 更精细 的下采样导致更好的分类精度， SCBAM在通道维度的模块结构中， 输入特征， 首先经过 SoftPool池化操作， 得到一个1 ×1×C的特征图， 接着， 再送入一个两层的神经网络MLP； 然 后将MLP输出的特征进行sigmoid激活操作， 生成最终的通道注意力 特征图； 将得到的特征 图和输入特 征图做element ‑wise乘法操作， 生成空间注意力模块需要的输入特 征； 将SCBAM引入到CSPDarknet53特征提取网络中， 构成骨干网络SCNet， 将骨干网络SCNet 提取的基本特 征送入到自适应记 忆性融合网络中进行融合； 所述自适应记忆性融合网络， 采用自适应空间特征融合方式融合骨干网络SCNet提取 的三个不同尺度特 征， 生成融合后的特 征I， αij+βij+γij＝1, 式中， Iij表示特征I在(i,j)位置上的特征向量， 表示骨干网络SCNet输出的3个 不同尺度特征在(i,j)位置上的特征向量, αij, βij, γij表示3个输入特征在(i,j)位置的权 重, λα, λβ, λγ通过1×1卷积得到；权　利　要　求　书 1/2 页 2 CN 114372968 B 2通过所述自适应记 忆性融合网络生成所述特 征I后还包括以下步骤， 在得到融合后的特 征后， 增加一条自底向上的通路； 将骨干网络SCNet的特 征引入特 征融合层。 2.如权利要求1所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法， 其 特征在于： 所述测试阶段包括以下步骤， 将测试瑕疵图像输入到训练好的织物瑕疵检测模型中； 所述测试瑕疵图像通过 所述骨干网络SCNet提取基本特 征， 获得不同尺度瑕疵特 征图； 所述瑕疵特征通过自适应记忆性特征融合网络进行不同尺度瑕疵特征融合， 得到结合 了浅层定位信息和高层语义信息的特 征图； 根据所述训练阶段训练好的织物瑕疵检测模型权 重， 得到预测框 。 3.如权利要求2所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法， 其 特征在于： SoftPool使用内核领域R内激活的平滑最 大近似值， 每个激活ai都被赋予权重 wi， 该权重为该激活的自然指数相对于邻域R内所有激活的自然指数之和的比值: 式中， e为自然常数， ai表示激活， wi表示权重， SoftPool方法的输出值是通过对内核领域R内所有激活的加权求和得到的: 式中， ai表示激活， wi表示权重。 4.如权利要求3所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法， 其 特征在于： 采用CDI oU损失函数， 计算预测框与真实框之间的损失， LCDIoU＝LCIoU+λ diou, 式中， RP， GT分别表示预测框和真实框， MBR为包围两个框的最小矩形区域， AE、 BF、 CG、 DH分别表示预测框和真实框四个顶点之间的距离； WY为包围两个框的最小矩形对角顶 点距 离； IoU表 示两个框的交并比， b和bgt表示预测框和真实框的中心 点， ρ2表示两点之间的欧氏 距离， c表示能够同时包含预测框和真实框之间的最小闭包区域的对角线距离， wgt， hgt表示 真实框宽和高， w， h表示预测框 宽和高， λ表示di ou的权重参数。权　利　要　求　书 2/2 页 3 CN 114372968 B 3