(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210704204.8 (22)申请日 2022.06.21 (65)同一申请的已公布的文献号 申请公布号 CN 114782441 A (43)申请公布日 2022.07.22 (73)专利权人 深圳市鼎合丰科技有限公司 地址 518115 广东省深圳市龙岗区横岗街 道横岗社区力嘉路108号A栋A6 -20 (72)发明人 申曼云　 (74)专利代理 机构 深圳锴权知识产权代理事务 所(普通合伙) 44825 专利代理师 张巍 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01) G06T 7/66(2017.01) G06T 7/73(2017.01) (56)对比文件 WO 202109 2845 A1,2021.0 5.20 审查员 曹春晓 (54)发明名称 一种电子元器件生产流水线故障信息识别 方法 (57)摘要 本发明公开一种电子元器件生产流水线故 障信息识别方法， 涉及数据识别技术， 本发明能 够实现电子元器件生产流水线电子元器件和流 水线运行 故障信息的采集、 提取、 分析和监控。 通 过设置监控装置， 能够提高图像数据信息的采集 与分析， 其中包括图像获取单元和视频获取单 元， 所述图像获取单元和视频 获取单元在电子元 器件生产流水线上方交错设置， 监控组件设置有 外部接口模块， 所述图像获取单元为CCD无线摄 像机， 所述图像获取单元设置有定位模块， 所述 定位模块通过故障识别实现纠偏； 通过EMD混合 分布算法实现生产流水线生产状态的故障识别。 本发明能够实现电子元器件生产过程中故障识 别和诊断能力， 及时提示管理人员预警、 故障识 别和诊断能力。 权利要求书4页 说明书10页 附图4页 CN 114782441 B 2022.09.30 CN 114782441 B 1.一种电子元器件生产流水线故障信息识别方法， 其特 征在于： 包括： （S1） 在电子元器件生产流水线上 方设置监控 装置； 在本步骤中， 监控装置包括主控模块与所述主控模块连接的监控组件、 图像处理模块、 视频驱动模块和视频存储模块， 其中监控组件包括图像获取单元和视频获取单元， 所述图 像获取单元和视频获取单元在电子元器件生产流水线 上方交错设置， 监控组件设置有外部 接口模块， 所述图像获取单元为CCD无线摄像机， 所述图像获取单元设置有定位模块， 所述 定位模块通过故障识别实现纠偏； 定位模块采用激光定位实现电子元器件在生产流水线中 的定位； 其中纠偏方法为： 通过CCD无线摄像机在流水线上各种角度和已知距离之间的几何关系校正数据参数， CCD无线摄 像机每个参数关系为： （1） 式 （1） 中， α1和α2表示电子元器件生产流水线实际点和理论点之间的角度； γ是CCD摄像 机围绕x轴的拔模角度； d1与d2分别表示电子元器件生产流水线中间器件和左右两侧电子 元器件之间测量的扭曲距离， 与 分别表示当CCD摄像机平面与电子元器件生产流 水线平面平行时， 生产流水线中心电子元器件和生产流水线左右两侧电子元器件之 间测量 的真实距离； CCD摄像机在电子元器件生产流水线的参照高度 h处采集多幅图像， 将每幅图像进行特 征点提取， 并在图像中直接测量不同元器件的距离， 用测量距离、 参考距离和参考高度与 CCD摄像机高度关联的反向线性 函数确定真实高度 H， 函数表达式为： （2） 式 （2） 中， D是电子元器件生产流水线图像中以像素为单位的参考距离， 在离线模式下， 建立参考坐标轴， 计算出CCD摄像机相对于生产流水线中心电子元器件的估计位置， 如下所 示： （3） （4） 在公式 （3） 和 （4） 中， 和 分别表示CCD摄像机相对于生产流水线中心电子元器件的估 计x位置和y位置， δ表示CCD摄像机围绕 z轴的旋转角度； 表示电子元器件与 CCD摄像机的 角度；权　利　要　求　书 1/4 页 2 CN 114782441 B 2（S2） 通过监控装置获取电子元器件生产流水线运行状态数据信息， 并提取电子元器件 的外观数据信息特 征； 在本步骤中， 通过神经网络中的卷积运 算提取电子元器件的外观数据信息特 征； （S3） 故障识别， 在本步骤中， 故障识别包括电子元器件外观故障识别和生产流水线生产状态故障识 别； 通过模板匹配法将获取的电子元器件生产流水线信息与模板数据库内的电子元器件 信息比对， 当对比一致， 则电子元器件无外观故障信息， 当对比不一致， 则电子元器件存在 外观故障信息； 通过EMD混合分布算法实现生产流水线生产状态的故障识别。 2.根据权利要求1所述的一种电子元器件生产流水线故障信 息识别方法， 其特征在于： 所述主控 模块为基于STM 32F103RCT6单片机的控制模块。 3.根据权利要求1所述的一种电子元器件生产流水线故障信 息识别方法， 其特征在于： 视频获取 单元为基于TMS320DM8168芯片的视频采集单 元。 4.根据权利要求1所述的一种电子元器件生产流水线故障信 息识别方法， 其特征在于： 神经网络中的卷积运 算提取电子元器件图像信息通过以下步骤： 步骤一、 构建CNN结构模型， 将CNN结构模型划分为数据输入模块、 卷积模块、 CNN结构模 型和数据输入模块， 其中数据输入模块的输出端与卷积模块的输入端连接， 卷积模块与CNN 结构模型交替设置， 所述CN N结构模型的输出端与数据输入 模块的输入端连接； 步骤二、 将CNN结构模型中每一个电子元器件样本数据用二维形式进行表示， 经过卷积 核照射到隐层， 隐层主 要由卷积层C层与降采样层S层组成， C层与S层交替重复； 步骤三、 图像分割， 将输入CNN结构模型中的电子元器件样本数据分成很多小图像模 块， 其中CNN结构模 型中的C层是对输入神经元数据局部特征的提取， C层的每一个平 面表示 一个特征矩阵， 并且平面上的卷积核相等， 有并行学习的特征， 不同平面对应着不同的卷积 核， 卷积核多表示特征提取更充分， 前一层输入的特征矩阵 与学习的卷积核 进行二维卷积， 卷积后的数据经过激活函数可得到本层的输出特征矩阵 ， 并且三 者之间的维度满足 ， 其中 表示电子元器件样本数据卷积运 算前图像的大小， 表示卷积核大小， 表示卷积运 算后得到 的图像大小， 其表达式为： （5） 式 （5） 中， 表示网络层数， 为卷积核， 为偏置， 为 层输出， 为第 层输 入； 表示第 层卷积核的输入， 表示卷积核的个数； 步骤四、 卷积计算， CNN结构模型中的S层使用上一层输入的电子元器件数据， 并对数据 进行缩小或放大， 直到能够照射到相应的数据维度上， 进行对相关特征提取， 利用均值池化权　利　要　求　书 2/4 页 3 CN 114782441 B 3