(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210663876.9 (22)申请日 2022.06.13 (71)申请人 浙江理工大 学 地址 310000 浙江省杭州市杭州经济技 术 开发区白杨街道 2号大街9 28号 (72)发明人 吕文涛　余序宜　 (74)专利代理 机构 浙江千克知识产权代理有限 公司 33246 专利代理师 黎双华 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进Scaled-YOL Ov4模型的织物 瑕 疵检测方法 (57)摘要 本发明涉及一种基于改进Scaled ‑YOLOv4模 型的织物瑕疵检测方法， 包括S1采集织物图像数 据集； S2划分得到训练集、 验证集、 测试集； S3进 行聚类， 得到K个先验框； S4将N个不同尺度的有 效特征图输入集成特征指导模块进行多尺度特 征预处理， 然后使用高效阶梯金字塔网络进行融 合， 得到N个不同尺度的融合特征图， 最后通过动 态尺度感知头进行通道调整以获得N个预测特征 图； S5得到所有预测框； S6更新Scaled ‑YOLOv4网 络的参数； S7根据参数更新后的Scaled ‑YOLOv4 网络来对验证集的每张图像进行预测， 统计后输 出验证集中各个类别的AP值； S8重复步骤S7， 直 至多次步骤S7中所统计的各个类别的AP值的平 均值等于某一固定值， 得到训练完成的Scaled ‑ YOLOv4网络； S9定位瑕疵。 本发明可对织物瑕疵 进行高准确的检测。 权利要求书3页 说明书10页 附图5页 CN 114882011 A 2022.08.09 CN 114882011 A 1.一种基于改进Scaled ‑YOLOv4模型的织物瑕疵检测方法， 其特 征在于， 包括 步骤： S1、 采集织物图像数据集， 并对每张图像中的各瑕疵进行类别、 位置的标注； S2、 按预设比例对数据集进行划分， 分别得到训练集、 验证集、 测试集， 并对训练集进行 数据增强， 得到增强后训练集； S3、 使用聚类算法根据增强后训练集中所有图像的目标GT框进行聚类， 得到K个先验 框； S4、 随机选择增强后训练集中的X张图像作为Scaled ‑YOLOv4网络的输入， 经过主干网 络特征提取后得到N个不同尺度的有效特征图， 并输入集成特征指导模块进行多尺度特征 预处理， 然后使用高效阶梯金字塔网络对预 处理后的有效特征图进 行融合， 得到N个不同尺 度的融合特征图， 最后通过动态尺度感知头对融合特征图的通道进行调整以获得N个预测 特征图； S5、 将K个先验框按照尺度顺序预先均匀分布到N个预测特征图上， 然后根据预测特征 图上锚点信息对相应的先验框进行调整， 得到所有预测框； S6、 根据步骤S5中得到的预测框与对应图片的GT框来计算网络整体损失值， 并使用梯 度下降法来更新Scaled ‑YOLOv4网络的参数； S7、 重复步骤S4 ‑S6直到增强后训练集中所有图片都输入网络一次， 根据参数更新后的 Scaled‑YOLOv4网络来对验证集的每张图像进行预测， 统计后输出验证集中各个类别的AP 值； S8、 重复步骤S7， 直至多次步骤S7中所统计的各个类别的AP值的平均值等于某一固定 值， 得到训练完成的Scaled ‑YOLOv4网络； S9、 使用训练完成的Scaled ‑YOLOv4网络对测试集中所有图像进行预测， 得到特征图上 的预测框， 根据特 征图和原图的比例关系， 将预测框映射至对应的原图上来定位瑕疵。 2.根据权利 要求1所述的一种基于改进Scaled ‑YOLOv4模型的织物瑕疵检测方法， 其特 征在于， 步骤S4中包括 步骤： S4.1、 随机选择增 强后训练集中的X张图像， 输入主干网络中进行逐级特征提取， 从中 取出最深层的三个含有不同尺度和通道数的有效特 征图； S4.2、 将步骤S4.1中得到的三个有效特征图， 输入集成特征指导模块进行多尺度特征 预处理， 将处理结果输入到高效阶梯金字塔网络中进行进一步的特征融合， 得到三个不同 尺度的融合特 征图； S4.3、 将步骤S4.2中得到的三个融合特征图通过动态尺度感知头， 进行通道调整， 以获 取三个预测特 征图。 3.根据权利 要求2所述的一种基于改进Scaled ‑YOLOv4模型的织物瑕疵检测方法， 其特 征在于， 集成特征指导模块包括第一层融合层、 第二层融合层、 第三层融合层， 第一层融合 层与第二层融合层相连， 第二层融合层与第三层融合层相连； 第一融合层包括第一最大池化层、 第 二最大池化层、 第 三最大池化层、 第 一通道注意力 模块， 第一最大池化层、 第二最大池化层、 第三最大池化层分别与第一通道注意力模块连 接； 第二层融合层包括相连的第一1 ×1卷积层、 分离聚合增强模块； 第三层融合层包括多感受野融合模块、 第二1 ×1卷积层。权　利　要　求　书 1/3 页 2 CN 114882011 A 24.根据权利 要求3所述的一种基于改进Scaled ‑YOLOv4模型的织物瑕疵检测方法， 其特 征在于， 高效阶梯金字塔网络包括第一层金字塔层、 第二层金字塔层、 第三层金字塔层， 第 一层金字塔层包括第一CSP瓶颈结构模块， 第二层金字塔层包括第二CSP瓶颈结构模块， 第 三层金字塔层包括第三CSP瓶颈结构模块， 第一CSP瓶颈结构模块、 第二CSP瓶颈结构模块、 第三CSP瓶颈结构模块依次相连。 5.根据权利 要求4所述的一种基于改进Scaled ‑YOLOv4模型的织物瑕疵检测方法， 其特 征在于， 动态尺度感知头包括第一子模块、 第二子模块、 第三子模块， 每个子模块均包括依 次连接的第一5 ×5的深度可分离卷积、 第二5 ×5的深度可分离卷积、 全局平均池化、 第一全 连接层、 第二全连接层和第三1 ×1卷积层。 6.根据权利 要求5所述的一种基于改进Scaled ‑YOLOv4模型的织物瑕疵检测方法， 其特 征在于， 步骤S4.2 中所述将步骤S4.1中得到的三个有效特征图， 输入集成特征指导模块进 行多尺度特 征预处理， 包括以下步骤： S4.2.1、 将特征 图M5经过第一最大池化层、 第二最大池化层、 第三最大池化层、 第一通 道注意力模块， 得到特征图C5， 将特征图C5进 行上采样并和特征图M4进 行像素级求和， 作为 中间阶段 特征图Stage1； S4.2.2、 将特征图M3使用多感受野融合模块得到特征 图K3， 然后对特征 图K3进行下采 样， 并与特征图Stage1进行像素级求和,得到中间阶段特征图Stage2， 将特征图Stage1和特 征图Stage2在通道维度上进行堆叠并输入分离聚合增强模块进行运 算， 得到特 征图C4； S4.2.3、 将特 征图C4进行 上采样， 并与特 征图K3进行融合， 得到特 征图C3； S4.2.4、 将特 征图C3、 特征图C4、 特 征图C5作为集成特征指导模块的多尺度输出； 其中， 将步骤S4.1中得到的三个有效特征图按照尺度从小到大分别称为特征图M5、 特 征图M4、 特 征图M3。 7.根据权利 要求6所述的一种基于改进Scaled ‑YOLOv4模型的织物瑕疵检测方法， 其特 征在于， 步骤S4.2中所述将处理结果输入到高效阶梯金字塔网络中进行进一步的特征融 合， 得到三个不同尺度的融合特 征图， 包括以下步骤： S4.2.5、 将特征图C5 的上采样结果， 特征 图C3下采样结果和特征 图C4在通道维度上进 行堆叠， 输入到第二CS P瓶颈结构模块中进行进一 步运算， 得到特 征图P4； S4.2.6、 将特征图P4进行下采样， 与特征 图C5进行堆叠， 输入到第一CSP瓶颈结构模块 中进行进一 步运算， 得到特 征图P5； S4.2.7、 特 征图C3直接作为第三CS P瓶颈结构模块的输出， 得到特 征图P3； S4.2.8、 特 征图P3、 特 征图P4、 特 征图P5作为高效阶梯金字塔网络的多尺度特 征输出。 8.根据权利 要求1所述的一种基于改进Scaled ‑YOLOv4模型的织物瑕疵检测方法， 其特 征在于， 步骤S6中， 包括 步骤： S6.1、 根据预测框及相应GT框计算交并比损失； S6.2、 根据预测特征图中包含的每个预测框的分类置信度、 边框置信度计算分类置信 度损失、 边框置信度损失， 并将交并比损失、 分类置信度损失、 边框置信度损失以预设比例 加权求和以得到网络整体损失， 并使用梯度下降法来更新Scaled ‑YOLOv4网络的参数。 9.根据权利 要求1所述的一种基于改进Scaled ‑YOLOv4模型的织物瑕疵检测方法， 其特 征在于， 步骤S7中， 包括 步骤：权　利　要　求　书 2/3 页 3 CN 114882011 A 3