(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210848010.5 (22)申请日 2022.07.19 (71)申请人 上海交通大 学宁波人工智能研究院 地址 315012 浙江省宁波市海曙区南门街 道南站西路2 9号 申请人 宁波工业互联网研究院有限公司 (72)发明人 陈昌政　庄开宇　杨根科　褚健　 李尖　王成光　 (74)专利代理 机构 上海剑秋知识产权代理有限 公司 31382 专利代理师 徐海兵 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/764(2022.01) G01M 7/02(2006.01) (54)发明名称 基于图像融合和集成网络的旋转机械故障 诊断方法和系统 (57)摘要 本发明公开了一种基于图像融合和集成网 络的旋转机械故障诊断方法和系统， 涉及故障诊 断技术领域， 所述故障诊断系统包括： 系统启动 模块、 数据采集模块、 数据预处理模块、 卷积神经 网络训练模块和集成神经网络输出模块。 所述故 障诊断方法包括： 步骤1、 安装传感器， 在所述旋 转机械的旋转轴位置安装若干振动传感器， 在所 述旋转机械的驱动设备的供电电缆处安装电流 传感器； 步骤2、 采集训练数据； 步骤3、 数据预处 理； 步骤4、 构建和训练神经网络模型， 获得若干 所述神经网络模型； 步骤5、 构建集成网络模型； 步骤6、 运行所述集成 网络模型， 将实时数据经过 数据预处理得到不同类型的所述融合时频图像 输入到相应的所述神经网络模型， 输出故障诊断 结果。 权利要求书2页 说明书6页 附图3页 CN 115238785 A 2022.10.25 CN 115238785 A 1.一种基于图像融合和集成网络的旋转机 械故障诊断系统， 其特 征在于， 包括： 系统启动模块， 所述系统启动模块负责启动所述旋转机械及用于采集所述旋转机械的 振动信号和驱动设备的电流信号的传感器， 将所述故障诊断系统的运行参数调整至预先设 定的参数值， 待所述故障诊断系统正常运行； 数据采集模块， 所述数据采集模块记录所述传感器采集到的所述数值信 息以及当前所 述旋转机械的正常运转或者不同故障类型状态； 在所述故障诊断系统的模型训练阶段， 所 述数据采集模块构建用于神经网络 建模训练所需的数据集； 在所述 故障诊断系统的模型运 行阶段， 所述数据采集模块采集实时设备运行 数据用于故障诊断； 数据预处理模块， 所述数据预处理模块对于采集到的所述数值信息进行预处理， 采用 带有dropout操作的大尺度一维卷积核对原始的所述数值信息进行卷积操作， 并将卷积后 的所述数值信息进行不同方法的时频分析及后续的图像融合， 得到若干不同类型的融合时 频图像； 卷积神经网络训练模块， 所述卷积神经网络训练模块用若干不同类型的所述融合 时频 图像构建和训练相应的神经网络模型， 对所述神经网络模型的权值和偏差进 行反复的调整 训练； 当所述神经网络模型 的输出层的误差平方和小于指定的误差时训练完成， 保存所述 神经网络模型的所述权值和所述偏差； 每种类型的所述融合时频图像对应一个训练完成的 所述神经网络模型， 即获得若干所述神经网络模型； 集成神经网络输出模块， 所述集成神经网络输出模块将若干所述神经网络模型进行并 行组合， 实时数据经过所述数据预 处理模块将对应类型的所述融合视频图像输入到相应的 所述神经网络模型中， 应用集成学习 方法对所有神经网络模型的输出结果进行融合， 输出 故障诊断结果。 2.如权利要求1所述的基于图像融合和集成网络的旋转机械故障诊断系统， 其特征在 于， 在所述数据预 处理模块中对所述数值信息进 行不同方法的所述时频分析之后得到三通 道电流信号和三通道振动信号的时频图像， 再对所述时频图像进 行图像融合得到若干不同 类型的所述融合时频图像。 3.如权利要求1所述的基于图像融合和集成网络的旋转机械故障诊断系统， 其特征在 于， 在所述集成神经网络输出模块中， 所述 故障诊断结果包括但不限于旋转机械故障定位、 故障类型、 故障尺寸。 4.如权利要求1所述的基于图像融合和集成网络的旋转机械故障诊断系统， 其特征在 于， 在所述系统启动模块中， 所述传感器包括振动传感器和电流传感器； 其中， 所述振动传感器安装在所述旋转机 械的旋转轴径向和轴向位置； 所述电流传感器安装在所述旋转机 械的所述驱动设备的供电 电缆处。 5.如权利要求1所述的基于图像融合和集成网络的旋转机械故障诊断系统， 其特征在 于， 所述故障诊断系统包括上位机， 所述数据采集模块包括数据采集器， 通过数据传输线将 所述数据采集器与所述传感器连接， 由所述数据采集器将采集的所述数值信息传输至所述 上位机。 6.一种基于 图像融合和集成网络的旋转机械故障诊断方法， 其特征在于， 所述方法包 括以下步骤：权　利　要　求　书 1/2 页 2 CN 115238785 A 2步骤1、 安装传感器， 在所述旋转机械的旋转轴位置安装若干振动传感器， 在所述旋转 机械的驱动设备的供电 电缆处安装电流传感器； 步骤2、 采集训练数据， 数据采集器将所述传感器采集到的数值信 息以及当前所述旋转 机械的正常运转或者不同故障类型状态传输至上位机进行记录， 得到标准数据样本； 所述 标准数据样本包括3通道振动信号数据和3通道电流信号数据； 步骤3、 数据预处理， 根据所述传感器的采样频率， 设定时间窗进行时频分析， 输出时 间‑频率等高线填充 灰度时频谱， 对所述电流传感器获取的所述3通道电流信号数据进行所 述灰度时频谱输出， 进 行图像融合合成为一张RGB三通道彩色图像， 对 所述振动传感器获取 的所述3通道振动信号数据进 行所述灰度时频谱输出， 进 行图像融合合成为一张RGB三通道 彩色时频谱； 随着所述 步骤2不断采集所述数值信息生成融合时频图像； 步骤4、 构建和训练神经网络模型， 以准确度高和结构简单为目标， 构建所述神经网络 模型的层次并选择参数， 将全连接层作为输出层， 采用softmax函数对故障类型和尺寸进 行 预测输出； 将训练批量大小设置为与输出类型数相同的值， 在测试时， 使用总体的统计数 据， 而不是小批次， 反向传播算法对所述神经网络模型的权值和偏差进 行反复的调整训练， 当所述神经网络模型的所述输出层的误差平 方和小于指定的误差时训练完成， 保存所述神 经网络模型的所述权值和所述偏差； 每种类型的所述融合时频图像对应一个训练完成的所 述神经网络模型， 即获得若干所述神经网络模型； 步骤5、 构建集成网络模型， 将若干所述神经网络模型进行并行组合， 构建为所述集成 网络模型， 使用投票规则对分类 问题进行输出， 使用加权平均对故障尺寸类型数值预测问 题进行输出， 加权 权重为单独网络准确率； 步骤6、 运行所述集成网络模型， 将实时数据经过所述步骤3的所述数据预处理得到不 同类型的所述融合时频图像输入到相应的所述神经网络模型中， 应用集成学习方法对所有 神经网络模型 的输出结果进行融合， 输出故障诊断结果， 并将所述故障诊断结果发送至人 机交互端并进行设备响应。 7.如权利要求6所述的基于图像融合和集成网络的旋转机械故障诊断方法， 其特征在 于， 在所述步骤1中， 所述振动传感器包括3个， 其中， 2个所述振动传感器安装在所述旋转机 械的旋转轴径向位置， 1个所述振动传感器安装在所述旋转机械的旋转轴轴向位置， 3个所 述振动传感器的安装方向相互垂直。 8.如权利要求6所述的基于图像融合和集成网络的旋转机械故障诊断方法， 其特征在 于， 在所述步骤2中， 所述标准数据样 本还包括旋转机械状态、 旋转机械故障类型、 旋转机械 故障尺寸。 9.如权利要求6所述的基于图像融合和集成网络的旋转机械故障诊断方法， 其特征在 于， 所述时间窗选取1秒到2秒的时间窗口。 10.如权利要求6所述的基于图像融合和集成网络的旋转机械故障诊断方法， 其特征在 于， 所述时频分析的方法包括但 不限于连续小波变换、 短时傅里叶变换、 希尔伯特 ‑黄变换、 傅立叶压缩同步变换、 W igner‑Ville分布。权　利　要　求　书 2/2 页 3 CN 115238785 A 3