(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111319532.8 (22)申请日 2021.11.09 (71)申请人 国网浙江省电力有限公司信息通信 分公司 地址 310000 浙江省杭州市上城区市民街 219号 申请人 国网浙江省电力有限公司 　 西北工业大 学 (72)发明人 沈桂竹　窦阳　梅峰　赖晓翰　 蒋锦霞　卢文达　王剑　王雪　 周果清　王庆　高明　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 代理人 林哲生(51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种故障检测模型轻量化的方法、 系统、 设 备及存储介质 (57)摘要 本发明实施例提供了一种故障检测模型轻 量化的方法、 系统、 设备及存储介质， 方法包括： 利用预设训练集和预设测试集对第一电力设备 故障检测模 型进行训练， 获得第二电力设备故障 检测模型， 利用轻量化网络结构 对第二电力设备 故障检测模 型的基础网络结构进行替换， 获得第 三电力设备故障检测模型， 将第三电力设备故障 检测模型输入到预设压缩微调算法中， 进行压缩 微调， 获得第四电力设备故障检测模型， 将第四 电力设备故障检测模型输入到预设优化引擎中， 以使预设优化引擎对第四电力设备故障检测模 型进行优化， 获得轻量化的电力设备故障检测模 型。 本发明实现了在保证输出结果准确的前提 下， 降低神经网络模型的结构复杂程度。 权利要求书3页 说明书9页 附图2页 CN 113987953 A 2022.01.28 CN 113987953 A 1.一种故障检测模型 轻量化的方法， 其特 征在于， 所述方法包括： 利用预设训练集和预设测试集对第 一电力设备故障检测模型进行训练， 获得第 二电力 设备故障检测模型， 其中， 所述预设训练集和所述预设测试集包括： 电力设备终端采集的监 测数据和对应故障类型， 所述第一电力设备故障检测模型为基于Resnet的机器学习模型； 利用轻量化网络结构对所述第 二电力设备故障检测模型的基础网络结构进行替换， 获 得第三电力设备故障检测模型； 将所述第三电力设备故障检测模型输入到预设压缩微调算法中， 以使所述预设压缩微 调算法对所述第三电力设备故障检测模型进行压缩微调， 获得第四电力设备故障检测模 型， 其中， 所述预设压缩微调算法包括： 预设剪枝算法和预设知识蒸馏算法； 将所述第四电力设备故障检测模型输入到预设优化引擎中， 以使所述预设优化引擎对 所述第四电力设备故障检测模型进行优化， 获得 轻量化的电力设备故障检测模型。 2.根据权利要求1所述的方法， 其特征在于， 所述利用轻量化网络结构对所述第 二电力 设备故障检测模型的基础网络结构进行替换， 获得第三电力设备故障检测模型， 具体包括： 利用所述轻量化网络结构， 对所述基础网络结构中的卷积核进行替换， 并减少所述卷 积核中的第一数量个通道数， 获得 经过处理的所述第三电力设备故障检测模型。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述第 三电力设备故障检测模型输 入到预设压缩微调算法中， 以使 所述预设压缩微调算法对所述第三电力设备故障检测模型 进行压缩微调， 获得第四电力设备故障检测模型， 包括： 利用所述预设剪枝算法对所述第 三电力设备故障检测模型进行压缩， 获得经过压缩的 第五电力设备故障检测模型； 利用所述预设知识蒸馏算法对所述第五电力设备故障检测模型进行微调， 获得所述第 四电力设备故障检测模型。 4.根据权利要求3所述的方法， 其特征在于， 所述利用所述预设剪枝算法对所述第 三电 力设备故障检测模型进行压缩， 获得 经过压缩的第五电力设备故障检测模型， 具体包括： 利用所述预设剪枝算法， 通过限定搜索空间和设置奖励函数， 对所述第三电力设备故 障检测模型在预设裁剪范围和预设精度损失范围内满足预设推理时延的裁剪方案进行搜 索， 待所述搜索经过第二数量次迭代后， 所述搜索的结果满足第一预设条件时， 将所述满足 第一预设条件的所述搜索的结果对应的所述裁剪方案， 确定为最 终的所述裁剪方案， 其中， 所述奖励函数用于限定所述预设精度损失范围和所述预设推理时延； 根据所述裁剪方案获得所述第 三电力设备故障检测模型的模型掩模， 利用所述剪枝算 法删除所述模型掩模中置零的通道层， 并通过计算所述第三电力设备故障检测模型的每个 卷积层中非零的输入通道数和输出通道数， 对所述第三电力设备故障检测模型进 行形状推 断， 获得所述第三电力 设备故障检测模型中需要替换 的卷积层， 利用所述预设剪枝算法通 过重写所述卷积层的结构 完成对所述卷积层的替换， 获得所述经过压缩的第五电力设备故 障检测模型。 5.根据权利要求3所述的方法， 其特征在于， 所述利用所述预设知识蒸馏算法对所述第 五电力设备故障检测模型进行微调， 获得 所述第四电力设备故障检测模型， 具体包括： 将教师模型和学生模型输入到预设知识蒸馏算法中， 以使所述预设知识蒸馏算法提取 所述教师模型和所述学生模型在输出层上的距离作为损失函数， 所述预设知识蒸馏算法根权　利　要　求　书 1/3 页 2 CN 113987953 A 2据所述损失函数， 将所述教师模型 的特征迁移到所述学生模型上， 获得经过所述微调的第 四电力设备故障检测模型， 其中， 所述教师模型是所述第二电力设备故障检测模 型， 所述学 生模型是所述第五电力设备故障检测模型。 6.根据权利要求1所述的方法， 其特征在于， 所述将所述第四电力设备故障检测模型输 入到预设优化引擎中， 以使所述预设优化引擎对所述第四电力设备故障检测模型进行优 化， 获得轻量化的电力设备故障检测模型， 包括： 利用所述预设优化引擎， 对所述第 四电力设备故障检测模型进行模型量化、 动态内存 优化和层融合， 获得所述轻量化的电力 设备故障检测模型， 其中， 所述模型量化是指， 利用 所述预设优化引擎对所述第四电力设备故障检测模型中的网络参数由第一类型转换为第 二类型， 所述动态内存优化是指， 利用所述预设优化引擎在所述第四电力 设备故障检测模 型运行时申请一个内存， 并控制所述第四电力 设备故障检测模型重复利用所述内存， 所述 层融合是指， 利用所述预设优化引擎将所述第四电力 设备故障检测模型中的卷积操作、 偏 置操作和激活函数进行融合， 并调用一个卷积核处 理所述融合后的操作。 7.一种故障检测模型 轻量化的系统， 其特 征在于， 所述系统包括： 模型训练模块， 通过利用预设训练集和预设测试集对第 一电力设备故障检测模型进行 训练， 获得第二电力设备故障检测模型， 其中， 所述预设训练集所述和预设测试集包括： 电 力设备终端采集的监测数据和对应故障类型， 所述第一电力设备故障检测模型为基于 Resnet的机器学习模型； 结构替换模块， 通过利用轻量化网络结构对所述第 二电力设备故障检测模型的基础网 络结构进行替换， 获得第三电力设备故障检测模型； 压缩微调模块， 用于将所述第三电力设备故障检测模型输入到预设压缩微调算法中， 以使所述预设压缩微调算法对所述第三电力设备故障检测模型进 行压缩微调， 获得第四电 力设备故障检测模型， 其中， 所述预设压缩微调算法包括： 预设剪枝算法和预设知识蒸馏 算 法； 模型优化模块， 用于将所述第 四电力设备故障检测模型输入到预设优化引擎中， 以使 所述预设优化引擎对所述第四电力设备故障检测模型进行优化， 获得轻量化的电力设备故 障检测模型。 8.根据权利要求7 所述的系统， 其特 征在于， 所述压缩微调模块包括： 压缩子模块， 利用所述预设剪枝算法对所述第三电力设备故障检测模型进行压缩， 获 得经过压缩的第五电力设备故障检测模型； 微调子模块， 利用所述预设知识蒸馏算法对所述第五 电力设备故障检测模型进行微 调， 获得所述第四电力设备故障检测模型。 9.一种故障检测模型 轻量化的设备， 其特 征在于， 包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 其中所述处理器被配置为执行所述指令， 以实现如权利要求1至6中任一项所述的故障 检测模型 轻量化的方法。 10.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的指令由所 述设备的所述处理器执行时， 使得所述设备能够执行如权利要求 1至6中任一项 所述的故障权　利　要　求　书 2/3 页 3 CN 113987953 A 3