(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210207239.0 (22)申请日 2022.03.03 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路3 号巷11号 (72)发明人 宋克臣　赵文丽　颜云辉　李骏　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李在川 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06T 7/11(2017.01) G06V 10/80(2022.01) (54)发明名称 小样本自相似嵌入推断的板带钢表面缺陷 分类系统及方法 (57)摘要 本发明公开一种小样本自相似嵌入推断的 板带钢表 面缺陷分类系统及方法， 系统包括特征 提取模块和分类模块， 分类模块由自相似表示 SSR模块和图嵌入标签推断GELE模块组成； 其中 自相似表 示SSR模块包含两个自相似计算子模块 SS_s和SS_q、 两个用于提取结构模式的自相似表 示学习子模块R_s和R_q以及两个特征聚合子模 块FA_s和FA_q； 图嵌入标签推断GELE模 块包含图 嵌入子模块GE、 标签推断子模块LE和分类器； 旨 在使用一种自相似方法， 即测量相邻区域内局部 斑块的相似性来增强嵌入表达， 以及一种非参数 正则器， 即以流行平滑的方式扩展决策边界减少 类噪声造成的分布漂移问题。 本发 明的系统和方 法进一步提高了小样本表面 缺陷分类的性能。 权利要求书4页 说明书11页 附图2页 CN 114638978 A 2022.06.17 CN 114638978 A 1.一种小样本自相似嵌入推断的板带钢表面缺陷分类系统， 其特征在于， 系统包括特 征提取模块和分类模块； 所述特征提取模块用于提取板带钢缺陷图像的基础特 征； 所述分类模块由自相似表示SSR模块和图嵌入标签推断GELE模块组成， 根据板带钢缺 陷图像的基础特 征通过分类 器对无标签板带钢缺陷图像进行分类。 2.根据权利要求1所述的小样本自相似嵌入推断的板带钢表面缺陷分类系统， 其特征 在于， 所述自相似表 示SSR模块包含两个自相似计算子模块SS_ s和SS_q、 两个用于提取结构 模式的自相似表示学习子模块R_s和R_q以及两个特 征聚合子模块FA_s和FA_q； 所述自相似计算子模块SS_s是对支持集 图像Is在特征提取模块后获得的基础特征Fs 进行处理， 将Fs中某 一位置x的c维向量， 与其邻域位置的c维向量进行内积计算， 得到位置x 处c维向量的相似张量表示， 以此方法遍历Fs中所有位置点， 得到的输出结果是SS_ s模块对 支持集缺陷图像 基础表征的自相似表示， 即自相似性张量Ts； 所述自相似计算子模块SS_q是对查询集 图像Iq在特征提取模块后获得的基础特征Fq 进行处理， 将Fq中某 一位置x的c维向量， 与其邻域位置的c维向量进行内积计算， 得到位置x 处c维向量的相似张量表示， 以此方法遍历Fq中所有位置点， 得到的输出结果是SS_q模块对 查询集缺陷图像 基础表征的自相似表示， 即自相似性张量Tq； 所述自相似表示学习子模块R_s将自相似性张量Ts存储在R_s中， 传入一系列2D卷积块 中进行自相似表示学习， 得到的输出结果是R_s模块对支持集缺陷图像自相 似性张量Ts的 相似特征表示， 得到富有结构信息的特 征Rs； 所述自相似表示学习子模块R_q将自相似性张量Tq存储在R_q中， 传入一系列2D卷积块 中进行自相似表示学习， 得到的输出结果是R_q模块对查询集缺陷图像自相 似性张量Ts的 相似特征表示， 得到富有结构信息的特 征Rq； 所述特征聚合子模块FA_s将富有结构信息的特征Rs与从特征提取器的支持集图像Is 的基础特 征Fs进行特征聚合， 得到聚合特 征Zs； 所述特征聚合子模块FA_q将富有机构信息的特征Rq与从特征提取器的查询集图像Iq 的基础特 征Fq进行特征聚合， 得到聚合特 征Zq。 3.根据权利要求2所述的小样本自相似嵌入推断的板带钢表面缺陷分类系统， 其特征 在于， 所述一系列2D卷积块包括： 一个1 ×1卷积块用于减少张量通道数， 两个3 ×3卷积块进 行转换操作， 一个1 ×1卷积块用于恢复张量通道数； 所述卷积块均在不进行填充的情况下 聚集向量， 得到局部相关模式， 从而降低其空间维度； 为了避免过拟合和干扰特 征的影响， 在所述卷积块中间使用正则化和relu操作。 4.根据权利要求1所述的小样本自相似嵌入推断的板带钢表面缺陷分类系统， 其特征 在于， 所述图嵌入标签 推断GELE模块包 含图嵌入子模块GE、 标签 推断子模块 LE和分类 器； 所述图嵌入子模块GE使用聚合特征Zs和Zq， 通过基于相似图的神经网络进行进一步的 特征转换， 将所有聚合特征看作一张特征图， 每一个特征数据都是一个个节点， 并计算每一 对特征的欧式距离和邻接矩阵， 准确表示支持集和查询集的特 征分布； 所述标签推断子模块LE利用图嵌入子模块GE得到的特征分布， 根据 特征分布的相似度 值计算传播矩阵， 展示了任意一聚合特征与其周围邻居特征标签进行转换 的可能性， 该特 征通过与其周围邻居特 征加权求和的方式输出 特征之间的推断插值矩阵；权　利　要　求　书 1/4 页 2 CN 114638978 A 2所述分类器包括一个标签预测的线性分类器和一个标签推断的分类器， 均由softmax 和交叉熵损失函数组成； 所述线性分类器通过支持集和查询集输入图像的聚合特征， 直接 预测查询集图像相应的标签； 所述标签推断的分类器通过模块LE得到的特征之 间的推断插 值矩阵， 得到特征分布与无标签查询集最为相似的支持集， 将支持集已知的标签信息推 断 为查询集的标签。 5.采用权利要求1至4中任意一项所述的小样本自相似嵌入推断的板带钢表面缺陷分 类系统进行板带钢表面 缺陷分类的方法， 其特 征在于， 包括如下步骤： 步骤1： 输入不同缺陷类别的板带钢表面缺陷 图像数据集， 并将数据集分为训练集和测 试集； 步骤2： 从训练集和测试集中选择n个缺陷类别， 采用episode形式均匀地、 无替换地取 样， 再从取样后的n个 类别数据中分出查询集query和支持集sup port， 分别记为 Iq和Is； 步骤3： 将Iq和Is分别输入到特征提取模块 中， 提取到Iq和Is的基础 特征分别记为Fq和 Fs； 步骤4： 将Fq和Fs输入到自相似表示SSR模块中， 将每个位置与其邻域像素相关联来编 码丰富的语义结构， 并在此基础上进行表征学习和聚合， 得到富有结构信息的聚合特征Zq 和Zs； 步骤5： 将聚合特征Zq和Zs传入到图嵌入标签推断GELE模块中， 将集合特征两两之间计 算距离， 通过一系列的转换输出 特征之间的推断插值矩阵， 减少了类别表示的噪声； 步骤6： 使用两个分类器： 第 一个线性分类器直接根据聚合特征预测查询集无标签样本 图像标签信息， 另一个基于标签推 断的分类器通过推 断插值矩阵进行标签预测， 根据支持 集已知标签的样本图像的类别信息得到查询集无标签样本图像的类别信息， 联合使用两个 分类器完成分类。 6.根据权利要求5所述的板带钢表面缺陷分类的方法， 其特征在于， 所述特征提取模块 采用ResNet12作为深度学习网络的骨架提取图像的基础特 征。 7.根据权利要求5所述的板带钢表面缺陷分类的方法， 其特征在于， 所述步骤4的具体 过程如下： 步骤4.1： 将基础特征Fq和Fs分别输入到自相似计算子模块SS_ q和SS_s中， 分别取出Fq 和Fs中每个位置x的c维向量， 通过一个卷积层找到该位置的邻域的矢量， 然后计算两者的 Hadamard积， 得到的自相似性张量Tq和Ts， 将一对 特征向量简化为一个标量相关性， 保留了 特征向量的丰富语义用于分类； 步骤4.2： 将自相似性张量Tq和Ts分别输入到自相似表示学习子模块R_q和R_s中， 采用 2D卷积进 行自相似学习， 即使用一个卷积块用于将张量通道数减少； 使用2个卷积块进 行转 换操作； 再使用一个卷积块用于将张量 通道数恢复， 得到富有结构信息的特 征Rq和Rs； 步骤4.3： 分别将富有结构信息的特征Rq和Rs与基础特征Fq和Fs同时输入到特征聚合 子模块FA_q和FA_s中， 将上述两个特 征结合起来， 产生聚合特 征Zq和Zs。 8.根据权利要求7所述的板带钢表面缺陷分类的方法， 其特征在于， 步骤4.2中所述自 相似性张量Tq和Ts输入到自相 似表示学习子模块R_q和R_s中作为特征图进行卷积的过程 中边缘进行了零 填充padding处理， 便于对边缘信息进行采样处 理， 避免信息的丢失。 9.根据权利要求5所述的板带钢表面缺陷分类的方法， 其特征在于， 所述步骤5的过程权　利　要　求　书 2/4 页 3 CN 114638978 A 3