(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111422473.7 (22)申请日 2021.11.26 (71)申请人 广州大学 地址 510006 广东省广州市番禺区大 学城 外环西路23 0号 (72)发明人 叶锡钧　湛晓宇　何沛衡　潘楚东　 邓军　汪大洋　周军勇　刘爱荣　 陈炳聪　 (74)专利代理 机构 北京高航知识产权代理有限 公司 11530 代理人 刘艳玲 (51)Int.Cl. G06F 30/13(2020.01) G06F 30/27(2020.01) G06F 119/02(2020.01) (54)发明名称 基于多模态神经网络的结构健康监测数据 检测方法和装置 (57)摘要 本发明提供基于多模态神经网络的结构健 康监测数据检测方法和装置， 其中， 该方法包括： S1获取结构健康监测数据； S2对获取的结构健康 监测数据进行预处理， 得到结构健康 监测数据的 特征数据集， 其中特征数据集包括结构健康监测 数据的原始数据和时频图； S3将获取的特征数据 集输入到训练好的基于多模态深度学习网络的 数据异常检测模型中， 得到输出的数据检测结 果。 本发明通过基于多模态深度学习网络的数据 异常检测模 型来对传感器数据进行异常检测， 模 型能识别绝大多数的失真数据， 分类性能良好， 有助于提高异常数据检测的准确性。 权利要求书2页 说明书6页 附图7页 CN 114357560 A 2022.04.15 CN 114357560 A 1.基于多模态神经网络的结构健康监测数据检测方法， 其特 征在于， 包括： S1获取结构健康监测数据； S2对获取的结构健康监测数据进行预处理， 得到结构健康监测数据的特征数据集， 其 中特征数据集包括结构健康监测数据的原 始数据和时频图； S3将获取的特征数据集输入到训练好的基于多模态深度学习 网络的数据异常检测模 型中， 得到 输出的数据检测结果。 2.根据权利要求1所述的基于多模态神经网络的结构健康监测数据检测方法， 其特征 在于， 结构健康监测数据包括由桥梁传感器采集的监测数据， 桥梁传感器包括加速度传感 器； 结构健康监测数据包括振动加速度数据。 步骤S1具体包括， 获取由设置在目标对象上的加速度传感器采集并传输的振动加速度 数据。 3.根据权利要求2所述的基于多模态神经网络的结构健康监测数据检测方法， 其特征 在于， 步骤S2包括： 对获取的结构健康监测数据进行小波变换处理， 得到结构健康监测数据的小波变换系 数， 将小波变换系数绘制成小 波时频图； 将得到的小 波时频图和对应的原 始结构健康监测数据构建特 征数据集。 4.根据权利要求3所述的基于多模态神经网络的结构健康监测数据检测方法， 其特征 在于， 步骤S 3中， 基于多模态深度学习网络的数据 异常检测模型包括由输入层、 一 维卷积神 经网络、 二维卷积神经网络、 拼接层、 全连接层和分类层组成； 输入层获取输入的特征数据集； 一维卷积神经网络用于对特征数据集中的原始数据进 行处理， 得到一 维向量特征， 其中一 维卷积神经网络由四层网络组成， 包括依次连接的第一 卷积层、 第一池化层、 第二卷积层和 第二池化层； 二 维卷积神经网络用于对特征数据集中的 时频图进 行处理， 得到图片向量特征， 其中二 维卷积神经网络由四层网络组成， 包括依次连 接的第三卷积层、 第三池化层、 第四卷积层和第四池化层； 其中第一卷积层和 第三卷积层分 别与输入层连接； 第二池化层和第四池化层分别与拼接层连接， 拼接层用于将一维向量特 征和图片向量特 征进行拼接后依次导入 全连接层和分类层， 由分类层输出 数据检测结果。 5.根据权利要求4所述的基于多模态神经网络的结构健康监测数据检测方法， 其特征 在于， 数据检测结果包括失真数据检测结果以及失真数据的类型； 其中失真数据检测结果 包括正常数据和失真数据， 失真数据的类型包括： 缺失、 次小值、 离群值、 超量程震荡、 趋势 和漂移中的至少一项。 6.根据权利要求1所述的基于多模态神经网络的结构健康监测数据检测方法， 其特征 在于， 还包括： S0训练所述基于多模态深度学习网络的数据异常检测模型， 具体包括： 获取样本监测数据； 对样本监测数据进行 标记得到与样本监测数据对应的检测结果标识； 对样本监测数据进行预处理， 得到样本监测数据的特征数据集， 并将样本监测数据的 特征数据集和检测结果标识组成训练集； 利用获取的训练集对基于多模态深度 学习网络的数据异常检测模型进行训练， 得到训 练后的数据异常检测模型。 7.基于多模态神经网络的结构健康监测数据检测装置， 其特征在于， 包括： 该装置用于权　利　要　求　书 1/2 页 2 CN 114357560 A 2实现如上述权利要求1 ‑6中任一项 所述的基于多模态深度学习网络的结构健康监测数据检 测方法。权　利　要　求　书 2/2 页 3 CN 114357560 A 3