(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210256372.5 (22)申请日 2022.03.16 (65)同一申请的已公布的文献号 申请公布号 CN 114612443 A (43)申请公布日 2022.06.10 (73)专利权人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 汪俊　吴宇祥　李大伟　张沅　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 王磊 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 113392915 A,2021.09.14 CN 113421230 A,2021.09.21 审查员 王明芳 (54)发明名称 一种多模态数据复杂缺陷特 征检测方法 (57)摘要 本发明公开了一种多模态数据复杂缺陷特 征检测方法， 包括多模态数据特征提取、 多模态 特征交叉引导学习以及多模态特征融合 以及缺 陷分类回归， 首先构建多模态 二维数据特征提取 网络， 并将缺陷数据集送入网络进行训练； 在训 练中利用多模态特征交叉引导网络实现了交叉 引导学习； 然后利用权重自适应方法进行特征融 合； 最后利用分类及回归子网络实现缺陷检测任 务， 本发明可以高效地实现多模态数据在复杂缺 陷特征检测过程中的融合， 能够更加有效地提升 工业环境下复杂缺陷的检测能力， 保证了工业制 造过程中的生产效率。 权利要求书1页 说明书3页 附图3页 CN 114612443 B 2022.11.22 CN 114612443 B 1.一种多模态数据复杂缺陷特征检测方法， 其特征在于， 具体包括以下步骤： 步骤S1： 构建特征提取网络； 步骤S2： 将多模态训练数据输入特征提取网络， 进 行多模态特征并行学 习； 步骤S 3： 构建多模态特征 交叉引导网络， 在平行的多模态特征提取网络之间建立局部连 接， 形成了多模态特征 交叉引导机制； 步骤S4： 将多个特征提取网络第六层输出的特征向量 进行多模态权重自适应融合； 步骤S5： 将 融合后的特征信息送入两个分类和回归子网络进 行缺陷的分类和定位； 所述步骤S1具体包括： 利用卷积神经网络构建多个并行的特征提取网络， 分别对应多 种模态的数据提取， 每个并行的特征提取网络都包含了六层， 分别由不同的卷积层、 池化 层、 密集块结构和膨胀瓶颈层结构 构成； 所述步骤S3具体包括： 将所述特征提取网络的第一、 第三、 第五层利用1 ×1卷积层建立 局部连接， 相同阶段的特征先进 行合并， 然后再经过1 ×1卷积层， 最后 将合并特征在整体叠 加到每个平行特征提取网络上， 实现了多模态特征 的交叉引导， 建立了不同模态数据在特 征提取中的特 征流动机制。 2.根据权利要求1所述的一种 多模态数据复杂缺陷特征检测方法， 其特征在于， 所述步 骤S2具体包括： 将工业缺陷多模态数据集分为训练集和测试集， 将训练集首先输入到并行 的所述特 征提取网络中进行 特征提取。 3.根据权利要求1所述的一种 多模态数据复杂缺陷特征检测方法， 其特征在于， 所述步 骤S4具体包括： 在每个平行特征提取网络特征通道之间建立相互依赖关系， 通过学习的方 法自动获取每个特征通道的重要程度， 然后依照这个重要程度去提升有用的特征并抑制当 前任务用处不大的特 征。 4.根据权利要求1所述的一种 多模态数据复杂缺陷特征检测方法， 其特征在于， 所述步 骤S5具体包括： 利用两个全卷积网络以及特征金字塔结构分布构建分类和回归子网络， 将 融合后的特 征信息送入两个子网络进行缺陷的分类和定位。权　利　要　求　书 1/1 页 2 CN 114612443 B 2一种多模 态数据复杂缺陷特征检测方 法 技术领域 [0001]本发明涉及计算机视觉技术领域， 具体涉及一种多模态数据复杂缺陷特征检测方 法。 背景技术 [0002]随着基于深度学习的计算机视觉的快速发展， 基于深度学习的目标检测方法在工 业界工业缺陷检测中的应用也越来越深入和广泛。 目前， 在工业界大部分场景下 的可视化 缺陷都已经提出了充分的解决方案。 同时， 针对一些在多种传感器下都可以采集到多模态 数据的复杂缺陷， 一般利用计算机对不同数据进 行处理融合， 然后进 行缺陷检测。 这种图像 融合方法具备冗余和互补的特性， 能够克服原图像在分辨率、 物理属性、 信息量等方面的局 限性， 还可以抑制噪音， 增强 图像信息的聚集程度。 最终， 可以大规模提升在工业场景下针 对具备多模态数据的复杂缺陷检测精度。 [0003]然而， 现有的图像数据融合方法一方面计算过程复杂， 难以应用于流水线状态下 工业检测， 另一方面融合效果差， 无法在后续过程中检测复杂缺陷特征。 因此， 急需一种针 对复杂缺陷的多模态数据融合检测方法。 发明内容 [0004](一)解决的技 术问题 [0005]本发明提供了一种基于多模态数据引导学习与自适应融合机制的复杂缺陷特征 检测方法， 以解决现有技 术中无法针对多模态缺陷数据进行准确高效检测的问题。 [0006](二)技术方案 [0007]为实现上述目的， 本发明提供如下技术方案： 一种多模态数据复杂缺陷特征检测 方法， 具体包括以下步骤： [0008]步骤S1： 构建特 征提取网络； [0009]步骤S2： 将多模态训练数据输入特 征提取网络， 进行多模态特 征并行学习； [0010]步骤S3： 构建多模态特征交叉引导网络， 在平行的多模态数据提取网络之间建立 局部连接， 形成了多模态特 征交叉引导机制； [0011]步骤S4： 多模态权 重自适应融合； [0012]步骤S5： 利用分类及回归子网络实现缺陷检测。 [0013]进一步的， 所述步骤S1具体包括： 利用卷积神经网络构建多个并行的特征提取网 络， 分别对应多种模态的数据提取， 每个并行的特征提取网络都包含了六层， 分别由不同的 卷积层、 池化层、 密集 块结构和膨胀瓶颈层结构 构成。 [0014]进一步的， 所述步骤S2具体包括： 将工业缺陷多模态数据集分为训练集和测试集， 将训练集首 先输入到并行的所述特 征提取网络中进行 特征提取。 [0015]进一步的， 所述步骤S3具体包括： 与所述特征提取网络的第一、 第三、 第五阶段利 用1×1卷积层建立了局部连接， 相同阶段的特征先进 行合并， 然后再经过1 ×1卷积层， 最后说　明　书 1/3 页 3 CN 114612443 B 3