(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111674645.X (22)申请日 2021.12.31 (71)申请人 国网河北省电力有限公司营销服 务 中心 地址 050035 河北省石家庄市高新区湘江 道与兴安大街交口南行100米路西电 力科技园院内C座 申请人 国家电网有限公司 (72)发明人 李飞　孙胜博　申洪涛　史轮　 王鸿玺　高波　杨挺　 (74)专利代理 机构 石家庄国为知识产权事务所 13120 专利代理师 李荣文 (51)Int.Cl. G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 深度神经网络的剪枝方法、 装置、 终端及存 储介质 (57)摘要 本发明提供一种深度神经网络的剪枝 方法、 装置、 终端及存储介质。 该方法包括： 建立电力系 统边缘计算的深度神经网络； 基于随机权值， 根 据深度神经网络， 建立剪枝优化函数； 求解剪枝 优化函数， 得到最优剪枝门值； 根据最优剪枝门 值和预设阈值对深度神经网络进行剪枝处理， 得 到目标深度神经网络。 本发明能够提供基于电力 边缘计算的深度神经网络剪枝方法。 本发明基于 随机权值， 不需要进行现有技术中的与训练权值 和微调等复杂的预处理过程， 可以应用于计算能 力弱和存储能力差的电力边缘计算设备上， 且提 高了深度神经网络的剪枝方法的运行稳定度和 效率。 权利要求书2页 说明书10页 附图4页 CN 114462593 A 2022.05.10 CN 114462593 A 1.一种深度神经网络的剪枝方法， 其特 征在于， 包括： 建立电力系统边 缘计算的深度神经网络； 基于随机 权值， 根据所述深度神经网络， 建立剪枝优化 函数； 求解所述剪枝优化 函数， 得到最优剪枝门值； 根据所述最优剪枝门值和预设阈值对所述深度神经网络进行剪枝处理， 得到目标深度 神经网络 。 2.根据权利要求1所述的深度神经网络的剪枝方法， 其特征在于， 所述建立电力系统边 缘计算的深度神经网络， 包括： 根据不同的电力场景建立电力系统边缘计算对应的深度神经网络； 其中电力场景至少 包括电表误差分析、 电力负荷预测 和风电功率预测。 3.根据权利要求1所述的深度神经网络的剪枝方法， 其特征在于， 所述基于随机权值， 根据所述深度神经网络， 建立剪枝优化 函数， 包括： 设置随机 权值； 根据所述随机 权值和所述深度神经网络， 建立初始剪枝优化 函数； 根据所述初始剪枝优化 函数中的标量门值和预设比例参数， 确定正则项； 根据所述 正则项更新所述初始剪枝优化 函数， 得到目标剪枝优化 函数。 4.根据权利要求3所述的深度神经网络的剪枝方法， 其特征在于， 所述初始剪枝优化函 数为 其中， A表示剪枝优化函数， f(xi； P,Λ)表示所述深度神经网络， xi表示第i个输入数据， i＝1,2…N， N表示输入数据的数量， P表 示设置的所述随机权值， Λ表 示标量门值， 其中Λ＝ {v1,v2,...,vj,...vK}， 0≤vj≤1， j＝1,2,...,K， K表示深度神经网络的总层数， yi表示深度 神经网络中第i层的输出值， L(f(xi； P,Λ),yi)表示所述深度神经网络与第i层的输出值的 交叉熵之和， α 表示平衡因子， |vj|1表示第j个标量门值vj的范数。 5.根据权利要求4所述的深度神经网络的剪枝方法， 其特征在于， 所述目标剪枝优化函 数， 包括： 其中， Mj表示第j层的通道数量， β 表示所述预设比例参数。 6.根据权利要求1所述的深度神经网络的剪枝方法， 其特征在于， 求解所述剪枝优化函 数， 得到最优剪枝门值， 包括： 采用次梯度下降算法求 解所述剪枝优化 函数， 得到最优剪枝门值。 7.根据权利要求6所述的深度神经网络的剪枝方法， 其特征在于， 根据 所述最优剪枝门 值和预设阈值对所述深度神经网络进行剪枝处 理， 得到目标深度神经网络， 包括： 获取电力边 缘计算设备的FLOP S约束； 根据FLOP S约束， 采用二分搜索算法确定当前迭代次数对应的全局剪枝阈值；权　利　要　求　书 1/2 页 2 CN 114462593 A 2根据所述全局剪枝阈值和所述 最优剪枝门值对所述深度神经网络进行剪枝； 检测剪枝后的深度神经网络是否符合条件； 当剪枝后的深度神经网络符合条件时， 输出 所述剪枝后的优化 函数； 当剪枝后的深度神经网络不符合条件时， 则跳转到 “根据FLOPS约束， 采用二分搜索算 法确定当前迭代次数对应的全局剪枝阈值 ”步骤确定下一次迭代次数对应的全局剪枝阈 值， 直到剪枝后的深度神经网络符合条件时， 输出 所述剪枝后的优化 函数。 8.一种深度神经网络的剪枝装置， 其特 征在于， 包括： 建立模块， 用于建立电力系统边 缘计算的深度神经网络； 所述建立模块， 还用于基于随机 权值， 根据所述深度神经网络， 建立剪枝优化 函数； 计算模块， 用于求 解所述剪枝优化 函数， 得到最优剪枝门值； 所述计算模块， 还用于根据 所述最优剪枝门值和预设阈值对所述深度神经网络进行剪 枝处理， 得到目标深度神经网络 。 9.一种终端， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如上的权利要求1至7 中任一项所述的深度神经网络的剪枝方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如上的权利要求 1至7中任一项 所述的深度神经网 络的剪枝方法的步骤。权　利　要　求　书 2/2 页 3 CN 114462593 A 3