(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111678978.X (22)申请日 2021.12.31 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新区望江西 路666号 (72)发明人 温子腾　刘辰宇　吴浩　吴嘉嘉　 胡金水　殷兵　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 专利代理师 秦卫中 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 训练深度学习模 型的方法、 数据处理方法及 装置 (57)摘要 本申请实施例提供了一种训练深度学习模 型的方法、 数据处理方法及装置， 通过将深度学 习模型所需的至少部分模型参数压缩在一个共 享参数池中， 多个模型参数可以共享该共享参数 池中同一位置存储的参数， 能够在不影 响模型精 度的情况下压缩模型的参数量， 解决了深度学习 模型的参数的数量过多的技 术问题。 权利要求书2页 说明书13页 附图8页 CN 114462571 A 2022.05.10 CN 114462571 A 1.一种数据处 理方法， 用于利用深度学习模型处 理数据， 其特 征在于， 包括： 在共享参数池中获取所述深度 学习模型的模型参数的集合， 所述共享参数池包括存储 有参数值的多个位置， 所述共享参数池中的至少部 分位置分别关联所述集合的一个子集中 的模型参数， 以使同一个所述子集中的模型参数共享同一个位置的参数值， 不同位置关联 的所述子集没有交集； 以及 将待处理的数据输入使用所述模型参数的集 合的所述深度学习模型， 得到 输出结果。 2.根据权利要求1所述的方法， 其特征在于， 各所述模型参数与 所述共享参数池的位置 通过伪随机函数相关联。 3.根据权利要求1所述的方法， 其特征在于， 所述在共享参数池中获取所述深度 学习模 型的模型参数的集 合， 包括： 确定伪随机种子； 根据所述伪随机种子和伪随机函数确定各所述模型参数在所述共享参数池中的关联 位置； 以及 从各所述模型参数的关联位置获取 各所述模型参数的参数值。 4.一种训练深度学习模型的方法， 其特 征在于， 包括： 在每次对所述深度学习 模型训练前， 在共享参数池中获取所述深度学习 模型的模型参 数的集合， 所述共享参数池包括存储有参数值的多个位置， 所述共享参数池中的至少 部分 位置分别关联所述集合的一个子集中的模型参数， 以使同一个所述子集中的模型参数共享 同一个位置的参数值， 不同位置关联的所述子集没有交集； 对使用所述模型参数的集 合的所述深度学习模型进行训练， 得到训练结果； 以及 根据所述训练结果更新共享 参数池中各位置存 储的参数值。 5.根据权利要求4所述的方法， 其特征在于， 各所述模型参数与 所述共享参数池的位置 通过伪随机函数相关联。 6.根据权利要求 4所述的方法， 其特 征在于， 还 包括： 确定所述共享 参数池； 初始化所述深度学习模型； 确定伪随机种子； 以及 根据所述伪随机种子和伪随机函数确定所述深度学习模型的各所述模型参数在所述 共享参数池中的关联位置 。 7.根据权利要求5所述的方法， 其特 征在于， 所述确定所述共享 参数池包括： 实例化所述共享 参数池； 以及 初始化所述共享 参数池。 8.根据权利要求4所述的方法， 其特征在于， 还包括： 响应于所述深度 学习模型未收敛， 在更新后的共享 参数池中获取 所述深度学习模型的模型参数集 合； 对使用所述模型参数的集 合的所述深度学习模型进行训练， 得到训练结果； 以及 根据所述训练结果更新共享 参数池中各位置存 储的参数值。 9.一种数据处 理装置， 用于利用深度学习模型处 理数据， 其特 征在于， 包括： 第二获取模块， 用于在共享参数池中获取所述深度学习模型的模型参数的集合， 所述 共享参数池包括存储有参数值的多个位置， 所述共享参数池中的至少部分位置 分别关联所权　利　要　求　书 1/2 页 2 CN 114462571 A 2述集合的一个子集中的模型参数， 以使同一个所述子集中的模型参数共享同一个位置的参 数值， 不同位置关联的所述子集没有交集； 输出模块， 用于将待处理的数据输入使用所述模型参数的集合的所述深度学习模型， 得到输出结果。 10.一种训练深度学习模型的装置， 其特 征在于， 包括： 第一获取模块， 用于在每次对所述深度学习模型训练前， 在共享参数池中获取所述深 度学习模型 的模型参数 的集合， 所述共享参数池包括存储有参数值的多个位置， 所述共享 参数池中的至少部 分位置分别关联所述集合的一个子集中的模型参数， 以使同一个所述子 集中的模型参数共享同一个位置的参数值， 不同位置关联的所述子集没有交集； 训练模块， 用于对使用所述模型参数的集合的所述深度学习模型进行训练， 得到训练 结果； 以及 更新模块， 用于根据所述训练结果更新共享 参数池中各位置存 储的参数值。 11.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计 算机程序用于执行上述权利要求1至3中任一项所述的数据 处理方法， 和/或用于执行上述 权利要求 4至8中任一项所述的训练深度学习模型的方法。 12.一种电子设备， 其特 征在于， 所述电子设备包括： 处理器； 用于存储所述处 理器可执行指令的存 储器， 其中， 所述处理器用于执行上述权利要求1至3中任一项所述的数据处理方法， 和/或用 于执行上述权利要求 4至8中任一项所述的训练深度学习模型的方法。权　利　要　求　书 2/2 页 3 CN 114462571 A 3