(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210857647.0 (22)申请日 2022.07.21 (65)同一申请的已公布的文献号 申请公布号 CN 115082434 A (43)申请公布日 2022.09.20 (73)专利权人 浙江华是 科技股份有限公司 地址 311122 浙江省杭州市余杭区闲林街 道嘉企路16号3幢1楼 (72)发明人 吴显德　李军　邹凡　鲁杰　 雷明根　 (74)专利代理 机构 北京城烽知识产权代理事务 所(特殊普通 合伙) 11829 专利代理师 王新月 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/24(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (56)对比文件 CN 110689520 A,2020.01.14 CN 114119586 A,202 2.03.01 CN 114663344 A,2022.06.24 CN 112767291 A,2021.0 5.07 CN 112881427 A,2021.0 6.01 CN 111709902 A,2020.09.25 US 2006102843 A1,20 06.05.18 CN 113822885 A,2021.12.21 US 2021326 624 A1,2021.10.21 Mengke L i et al.Multisensor Ima ge Fusion for Automated Detecti on of Defects in Printed Circuit Boards. 《IE EE SENSORS JOURNAL》 .2021,第21卷(第20期), 俞永方 等.基 于人工智能的磁芯产品缺陷 检测与分类技 术. 《电子技 术与软件工程》 .2020, (第6期), (续) 审查员 张露 (54)发明名称 一种基于多源特征的磁芯缺陷检测模型训 练方法及系统 (57)摘要 本发明公开一种基于多源特征的磁芯缺陷 检测模型训练方法及系统， 其中， 该方法包括： S101， 获取目标磁芯的自然 光成像图片和红外线 成像图片并作为训练集进行模型训练， 得到当前 轮磁芯缺陷检测模型； 所述模型训练包括： 将两 个图片进行位置校正， 得到校正后的两个图片； 将校正后的两个图片分别分成第一预设数量块， 并一一对应进行融合， 得到第一预设数量个融合 特征块； 可得到不同成像之间的关系， 解决单一 成像的局限性； 将第一预设数量个融合特征块进 行拼接、 分块操作， 降低缺陷误检和漏检， 采用自 注意力机制操作和全卷积操作， 得到的特征图具 有全局性。 并且计算得到当前轮的损失值； S102，重复S101直至损失值在预设范围内波动， 得到目 标磁芯缺陷检测模型。 [转续页] 权利要求书3页 说明书12页 附图5页 CN 115082434 B 2022.12.09 CN 115082434 B (56)对比文件 朱浩 等.基 于多尺度轮廓增强的RGB-IR双 波段图像 语义分割算法. 《激光与红外》 .202 2,第 52卷(第4期),Qiang Zhang et al.RGB-T Sal ient Object Detecti on via Fusi ng Multi-Level CNN Features. 《IE EE TRANSACTIONS ON IMAGE PROCESSING》 .2020,第2 9卷2/2 页 2[接上页] CN 115082434 B1.一种基于多源特 征的磁芯缺陷检测模型训练方法， 其特 征在于， 包括： 步骤S101， 获取目标磁芯的自然光成像图片和红外线成像图片并作为训练集进行模型 训练， 得到当前轮 磁芯缺陷检测模型； 所述模型训练包括： 步骤S1011， 将所述自然光成像图片和所述红外线成像图片进行位置校正， 得到校正后 的自然光成像图片和校正后的红外线成像图片； 步骤S1012， 将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第 一预设数量 块， 并一一对应进行融合， 得到第一预设数量个融合特 征块； 步骤S1013， 将所述第一预设数量个融合特征块进行拼接， 得到多源特征图； 将所述多 源特征图依次进行分块操作、 自注意力机制操作、 全卷积操作、 卷积操作、 融合操作得到总 自注意力特征图； 将所述总自注意力特征图输入到所述模型 的检测头中进行检测， 得到特 征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷检测模型； 根据所述特征图中磁芯缺陷的 位置与所述校正后的自然光成像图片或校正后的红外线成像图片中磁芯缺陷的位置计算 损失值； 步骤S102， 重复步骤S101直至损失值在预设范围内波动， 得到目标磁芯缺陷检测模型； 其中， 所述 步骤S1013包括： 将所述第一预设数量个融合特 征块进行拼接， 得到多源特 征图； 将所述多源特征图划分为第二预设数量块， 并将每一块进行自注意力机制操作， 得到 第二预设数量个自注意力特征图； 将所述第二预设数量个自注意力特征图进 行融合并进 行 全卷积操作得到第一 块自注意力特 征图； 将所述第一块自注意力特征图划分为第 三预设数量块， 并将每一块进行自注意力 机制 操作， 得到第三预设数量个 自注意力特征图； 将所述第三预设数量个 自注意力特征图进行 融合并进行全卷积 操作得到第二 块自注意力特 征图； 将所述第二块自注意力特征图划分为第四预设数量块， 并将每一块进行自注意力 机制 操作， 得到第四预设数量个 自注意力特征图； 将所述第四预设数量个 自注意力特征图进行 融合并进行全卷积 操作得到第三 块自注意力特 征图； 将所述第一块自注意力特征图、 所述第二块自注意力特征图、 所述第三块自注意力特 征图依次进行卷积操作、 融合操作得到总自注意力特征图； 将所述总自注意力特征图输入 到所述模型的检测头中进 行检测， 得到特征图中磁芯缺陷的位置以及所述当前轮磁芯缺陷 检测模型； 根据所述特征图中磁芯缺陷的位置与所述校正后的自然光成像图片或校正后的 红外线成像图片中磁芯缺陷的位置计算损失值。 2.根据权利要求1所述的方法， 其特 征在于， 所述 步骤S1012包括： 将所述校正后的自然光成像图片和校正后的红外线成像图片分别分成第一预设数量 块， 并一一对应按通道连接， 得到第一预设数量个通道叠加图片块； 将所述第一预设数量个通道叠加图片块进行自注意力 机制操作， 得到第 一预设数量个 特征图中每个特征值的相关性； 其中， 所述相关性为特征图中一个位置的特征值与其他位 置的特征值的关系； 根据所述第 一预设数量个特征图中每个特征值的相关性进行卷积操作， 以使所述第 一 预设数量个通道叠加图片块的通道与所述校正后的自然光成像图片或校正后的红外线成权　利　要　求　书 1/3 页 2 CN 115082434 B 3