(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210602498.3 (22)申请日 2022.05.30 (71)申请人 中电金信软件 有限公司 地址 100082 北京市海淀区西小口路6 6号 东升科技园C区4 号楼401室 (72)发明人 覃祥坤　单海军　郑锐　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 荣颖佳 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种对深度神经网络进行剪枝的方法及装 置 (57)摘要 本发明提供了一种对深度神经网络进行剪 枝的方法及装置， 其中， 该对深度神经网络进行 剪枝的方法包括： 将基于上游任务生成的深度神 经网络迁移到下游目标任务， 得到精调模型， 所 述上游任务包括多个下游任务， 所述下游目标任 务为所述多个下游任务中的一个； 基于对抗样本 以及所述下游目标任务对应的数据集， 对精调模 型的参数进行优化， 得到参数对应的权重优化掩 码； 获取所述权重优化掩码的期望， 按照从小至 大的排序方式， 对各权重优化掩码的期望进行排 序， 将满足预设稀疏度的期望对应的参数从精调 模型中裁剪掉， 得到稀疏子网络。 可以提高剪枝 后得到的稀疏子网络的预测精度。 权利要求书2页 说明书10页 附图2页 CN 114969340 A 2022.08.30 CN 114969340 A 1.一种对深度神经网络进行剪枝的方法， 其特 征在于， 包括： 将基于上游任务生成的深度神经网络迁移到下游目标任务， 得到精调模型， 所述上游 任务包括多个下游任务， 所述下游目标任务 为所述多个下游任务中的一个； 基于对抗样本以及所述下游目标任务对应的数据集， 对精调模型的参数进行优化， 得 到参数对应的权 重优化掩码； 获取所述权重优化掩码的期望； 按照从小至大的排序方式， 对各权重优化掩码的期望进行排序， 将满足预设稀疏度的 期望对应的参数从精调模型中裁 剪掉， 得到稀疏子网络 。 2.根据权利要求1所述的方法， 其特征在于， 所述基于对抗样本以及所述下游目标任务 对应的数据集， 对精调模型的参数进行优化， 得到参数对应的权 重优化掩码， 包括： 依据均匀分布， 为精调模型的每一 参数进行 赋值， 生成对应的样本； 基于HardConcrete分布以及预设的激活函数， 对样本进行处理， 得到二值的初始权重 掩码； 在所述数据集的数据点中引入对抗样本， 基于引入对抗样本的数据点以及初始权重掩 码， 构建最小 ‑最大优化问题； 求解所述最小‑最大优化问题， 得到参数对应的权 重优化掩码。 3.根据权利要求2所述的方法， 其特征在于， 所述基于引入对抗样本的数据点以及初始 权重掩码， 构建最小 ‑最大优化问题， 包括： 获取初始权 重掩码中非零元 素的概率期望； 基于初始权重掩码重构精调模型， 在所述数据集的数据点中引入对抗样本， 基于引入 对抗样本的数据点、 概 率期望以及重构的精调模型， 构建最小 ‑最大优化问题。 4.根据权利要求2所述的方法， 其特征在于， 所述基于引入对抗样本的数据点以及初始 权重掩码， 构建最小 ‑最大优化问题， 包括： 基于初始权重掩码重构精调模型， 在所述数据集的数据点中引入对抗样本， 基于引入 对抗样本的数据点以及重构的精调模型， 构建最小 ‑最大优化问题。 5.根据权利要求1至4任一项所述的方法， 其特征在于， 所述对抗样本依据 K投影梯度 下 降算法生成。 6.根据权利要求1至4任一项所述的方法， 其特征在于， 所述将基于上游任务生成的深 度神经网络 迁移到下游目标任务， 得到精调模型， 包括： 依据下游目标任务对应的任务样本数据集， 对所述深度神经网络进行训练， 依据完成 训练的深度神经网络生成精调模型。 7.根据权利要求1至4任一项所述的方法， 其特征在于， 在所述基于权重优化掩码， 对精 调模型进行裁 剪， 得到稀疏子网络的步骤之后， 所述方法还 包括： 基于所述下游目标任务对应的数据集， 对稀疏子网络进行精调， 得到应用于该下游目 标任务的任务剪枝模型。 8.一种对深度神经网络进行剪枝的装置， 其特 征在于， 包括： 迁移模块， 用于将基于上游任务生成的深度神经网络迁移到下游目标任务， 得到精调 模型， 所述上游任务包括多个下游任务， 所述下游目标任务 为所述多个下游任务中的一个； 优化模块， 用于基于对抗样本以及所述下游目标任务对应的数据集， 对精调模型的参权　利　要　求　书 1/2 页 2 CN 114969340 A 2数进行优化， 得到参数对应的权 重优化掩码； 剪枝模块， 用于获取所述权重优化掩码的期望， 按照从小至大的排序 方式， 对各权重优 化掩码的期望进行排序， 将满足预设稀疏度的期望对应的参数从精调模型中裁剪掉， 得到 稀疏子网络 。 9.一种计算机设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当计算机设备运行时， 所述处理器与所述存储器之间通过 总线通信， 所述机器可读指 令被所述处理器执行时执行如权利要求 1至7任一所述的对深度 神经网络进行剪枝的方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处理器运行时执行如权利要求1至7任一所述的对深度神经网络进行剪 枝的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114969340 A 3