(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111650000.2 (22)申请日 2021.12.3 0 (71)申请人 四川沐迪圣科技有限公司 地址 610000 四川省成 都市天府新区天府 大道南段2039号天府菁蓉大厦主楼 1409室 (72)发明人 高斌　张世奇　 (74)专利代理 机构 成都华风专利事务所(普通 合伙) 51223 代理人 张巨箭 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 5/00(2006.01) G06T 7/00(2017.01) G06V 10/764(2022.01) (54)发明名称 一种多尺度空间联合模型及其视觉检测方 法 (57)摘要 本发明公开了一种多尺度空间联合模型及 其视觉检测方法， 属于机器视觉缺陷检测技术领 域， 包括FCOS基础网络， FCOS基础网络连接有分 类融合金字塔及回归融合金字塔， 且分类融合金 字塔经类空间回归相似性模块连接至回归融合 金字塔。 本申请通过FCOS基础网络能够提取图像 数据的多尺度类空间回归质量信息、 多尺度回归 空间特征信息， 并通过分类融合金字塔、 回归融 合金字塔分别对多尺度类空间回归质量信息、 多 尺度回归空间特征信息进行数据融合处理， 以此 增强缺陷特征， 进而提高缺陷检测的准确性； 本 申请将类别特征信息输入至回归融合金字塔指 导回归空间的信息融合， 能够削减模型训练、 模 型用于缺陷检测阶段中分类和回归结果不一致 的情况， 保证缺陷检测精准度。 权利要求书2页 说明书13页 附图10页 CN 114332506 A 2022.04.12 CN 114332506 A 1.一种多尺度空间联合模型， 其特征在于： 其包括用于提取输入图像的多尺度类别特 征信息、 多尺度回归特征信息的FCOS基础网络， FCOS基础网络的多尺度类别特征信息输出 端连接有分类融合金字塔， FC OS基础网络的多尺度回归 特征信息输出端 连接有回归融合金 字塔； 分类融合金字塔经类空间回归相似性模块连接至回归融合金字塔； 类空间回归相似性 模块用于 提取分类融合金字塔输出特征融合信息Ci'的类空间回归质量信息Di， 并将类空间 回归质量信息Di输入回归融合金字塔； 分类融合金字塔基于多尺度类别特征信息Ci进一步 提取特征融合信息Ci'， 基于特征融合信息Ci'进行缺陷类别判断； 回归融合金字塔基于多尺 度回归特征信息Ri、 类空间回归质量信息Di进一步提取特征融合信息Ri'， 基于特征融合信 息Ri'进行缺陷定位。 2.根据权利要求1所述一种 多尺度空间联合模型， 其特征在于： 所述分类融合金字塔包 括第三类别特征提取层、 第四类别特征提取层、 第五类别特征提取层、 第六类别特征提取 层、 第七类别特征提取层， 第三类别特征提取层、 第四类别特征提取层、 第 五类别特征提取 层自下向上或自上向下进 行特征融合， 第五类别特征提取层、 第六类别特征提取层、 第七类 别特征提取层自上向下或自下向上进行 特征融合。 3.根据权利要求1所述一种 多尺度空间联合模型， 其特征在于： 所述 回归融合金字塔包 括第三回归特征提取层、 第四回归特征提取层、 第五回归特征提取层、 第六回归特征提取 层、 第七回归特征提取层， 第三回归特征提取层、 第四回归特征提取层、 第 五回归特征提取 层自下向上或自上向下进 行特征融合， 第五回归特征提取层、 第六回归特征提取层、 第七回 归特征提取层自上向下或自下向上进行 特征融合。 4.根据权利要求1所述一种 多尺度空间联合模型， 其特征在于： 所述类空间回归相似性 模块包括若干顺次连接的卷积层。 5.一种多尺度空间联合模型的视觉检测方法， 其特征在于： 所述方法基于权利要求1 ‑4 任意一项所述多尺度空间联合模型进行实施， 包括以下步骤： S1： 搭建多尺度空间联合模型； S2： 训练多尺度空间联合模型； S21： 基于基础网络提取训练样本 特征得到多尺度类别特征信息Ci和多尺度回归特征信 息Ri； S22： 将Ci输入至分类融合金字塔进行特征融合计算得到特征融合信息Ci'， 并基于Ci对 分类融合金字塔进行训练； S23： 提取Ci'的类空间回归质量信息Di； S24： 基于Ri、 Di对回归融合金字塔进行训练； S25： 重复步骤S2 1‑S24， 直至多尺度空间联合模型收敛， 得到训练完成的多尺度空间联 合模型； S3： 基于多尺度空间联合模型实现待检测试件视频流数据的缺陷检测。 6.根据权利要求5所述的一种 多尺度空间联合模型的视觉检测方法， 其特征在于： 所述 搭建多尺度空间联合模型包括： 采用FCOS作为基础网络； 基于FCOS基础网络的Head输出 结果分别搭建 分类融合金字塔以及回归融合金字塔；权　利　要　求　书 1/2 页 2 CN 114332506 A 2将分类融合金字塔通过类空间回归相似性模块连接 至回归融合金字塔。 7.根据权利要求5所述的一种 多尺度空间联合模型的视觉检测方法， 其特征在于： 所述 融合金字塔进行 特征提取时包括： 将Ci输入至分类融合金字塔进行邻级类别相似性计算及邻级信息融合计算， 并在融合 信息上提取类空间回归质量信息Di； 和/或， 将Ri、 Di输入至回归融合金字塔并进行邻级回归 相似性计算及邻级信息融合计算。 8.根据权利要求7所述的一种 多尺度空间联合模型的视觉检测方法， 其特征在于： 所述 相似性计算及邻级信息融合计算时包括： 基于类空间邻级相似性计算获取当前层级与相邻层在同一目标检测位置的类空间相 似性指标 基于sigmoid函数对类空间相似性指标 计算， 得到用于表 示层级信息间趋向 程度的权值 进而在类 空间邻级信息融合计算时控制当前层与相邻层融合信息的占比； 基于高斯核函数对类空间相似性指标 计算， 得到用于表示层级信息间差异程度的熔断选 择kiC， 进而在类空间邻级信息融合计算时控制融合信息与原始信息的占比； 并在融合信息 的基础上提取类空间回归质量信息Di， 和/或， 基于回归空间邻级相似性计算获取当前层级与相邻层在同一目标检测位置的回归相 似性指标 基于sigmoid函数对回归相似性指标 和类空间回归质量信息Di计算并加权， 得到用于表示层级信息间趋向程度的权值 进而在回归空间邻级信息融合计算时控制 当前层与相邻层 融合信息的占比； 基于高斯核函数对回归相似性指标 计算， 得到用于表 示层级信息间差异程度的熔断选择kiR， 进而在回归空间邻级信息融合计 算时控制融合信息 与原始信息的占比。 9.根据权利要求5所述的一种 多尺度空间联合模型的视觉检测方法， 其特征在于： 所述 缺陷检测包括： 将待检测试件视频流数据输入多尺度空间联合模型； 多尺度空间联合模型提取待检测试件视频流数据的特征融合信息Ci'、 特征融合信息 Ri'； 判断Ci'是否大于Ci'对应层级设定阈值， 若大于， 判定为缺陷， 定位与Ci'对应层级的Ri' 中的对应点， 并基于对应点绘制目标选 框， 进而实现缺陷定位。 10.根据权利要求5所述的一种多尺度空间联合模型的视觉检测方法， 其特征在于： 所 述方法还 包括预处 理步骤： 将单通道图像转换为RGB通道图像； 和/或， 计算图像的像素均值和标准差， 对图像进行 标准化处理， 使图像满足正态分布。权　利　要　求　书 2/2 页 3 CN 114332506 A 3