(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211123168.2 (22)申请日 2022.09.15 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 郭泽华　谭佳欣　李昶林　姚超　 (74)专利代理 机构 北京东方昭阳知识产权代理 事务所(普通 合伙) 11599 专利代理师 刘丽 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于模型分解的分布式机器学习模型 传输压缩方法 (57)摘要 本发明公开了一种基于模型分解的分布式 机器学习模 型传输压缩 方法， 通过采用压缩算法 对模型梯度逐层分解压缩， 实现了对分布式机器 学习模型训练过程中每轮迭代内工作节点与参 数服务器节 点间传输数据量的压缩， 有效降低了 通信数据量， 实现了通信开销与训练模型精度之 间的权衡， 缓解了分布式训练的通信瓶颈问题， 在保证训练精度的同时提升 了模型训练速度。 权利要求书2页 说明书7页 附图1页 CN 115470935 A 2022.12.13 CN 115470935 A 1.一种基于模型分解的分布式机器学习模型传输压缩方法， 其特征在于， 包括以下步 骤： 步骤1、 工作节点模型的各层梯度张量根据其大小进行矩阵化展开为梯度张量初始矩 阵； 步骤2、 采用压缩算法将梯度张量初始 矩阵分解压缩为压缩矩阵； 步骤3、 工作节点将当前迭代中形成的压缩矩阵发送至服 务器节点； 步骤4、 服务器节点根据所述压缩矩阵进行重构得到重构梯度， 再根据学习率、 所有工 作节点的重构梯度及当前全局模型参数更新全局模型， 得到更新后的全局模型参数， 最后 将更新后的全局模型参数发送至所有工作节点； 步骤5、 若当前迭代次数小于阈值， 则执行步骤1； 否则， 完成分布式机器学习模型的训 练， 结束本流 程。 2.根据权利要求1所述的分布式机器学习模型传输压缩方法， 其特征在于， 所述步骤1 中将工作节点模型中的偏置层与相应的权 重层拼接后再进行矩阵化展开。 3.根据权利要求1所述的分布式机器学习模型传输压缩方法， 其特征在于， 所述步骤2 中的压缩算法为PCA时， 所述步骤2中的将梯度张量初始矩阵分解压缩为压缩矩阵的过程 为： 步骤1.1、 若梯度张量初始矩阵的行数小于列数， 则对梯度张量初始矩阵进行转置后执 行步骤1.2； 否则， 执 行步骤1.2； 步骤1.2、 对梯度张量初始矩阵进行去中心化得到梯度张量初始矩阵均值 计算出协 方差矩阵； 对协方差矩阵进行分解， 获得 特征值与特 征向量； 步骤1.3、 将特 征值与对应特 征向量按照特 征值数值大小 进行降序排列； 步骤1.4、 采用预设的特征向量数量比例α与特征向量数量相乘得到投影矩阵列数l， 取 排序后特 征向量的前l列生成投影矩阵W； 步骤1.5、 将梯度张量初始 矩阵均值 和投影矩阵W进行如下计算： 得到降维梯度Y； 步骤1.6、 由梯度张量初始 矩阵均值、 降维梯度和投影矩阵形成压缩矩阵。 4.根据权利要求3所述的分布式机器学习模型传输压缩方法， 其特征在于， 所述步骤 1.4为根据预设的特征值占比阈值η确定投影矩阵列数： 计算前i个排序后的特征值之和在 所有特征值之和中的占比是否超过设定的阈值， 当超过阈值时， 则取前i个特征值对应特征 向量构成投影矩阵W， 否则， 增加 求和的特征值个数直至占比超过阈值后， 选取参与求和的 特征值对应特 征向量生成投影矩阵W。 5.根据权利要求1所述的分布式机器学习模型传输压缩方法， 其特征在于， 所述步骤2 中的压缩算法为SVD时， 所述步骤2中的将梯度张量初始矩阵分解压缩为压缩矩阵的过程 为： 步骤2.1、 将矩阵XTX进行分解， 求得 特征值与特 征向量， 其中， X为梯度张量初始 矩阵； 步骤2.2、 若梯度张量初始矩阵X的行数m大于列数n则执行步骤2.3， 若m不大于n则执行 步骤2.6；权　利　要　求　书 1/2 页 2 CN 115470935 A 2步骤2.3、 将特征值与其对应特征向量按照特征值的数值大小进行降序排列， 形成右奇 异值矩阵V； 步骤2.4、 对特 征值进行平方根处 理， 获得奇异值， 生成奇异值矩阵σ； 步骤2.5、 由U＝XVTσ 计算得到左奇异值矩阵U， 执 行步骤2.9； 步骤2.6、 将特征值与对应特征向量按照特征值数值大小进行降序排列形成左奇异值 矩阵U； 步骤2.7、 对特 征值进行平方根处 理， 获得奇异值， 生成奇异值矩阵σ； 步骤2.8、 由V＝σ UTX计算得到右奇异值矩阵V； 步骤2.9、 由奇异值矩阵σ 、 左奇异值矩阵U和右奇异值矩阵V构成压缩矩阵。 6.根据权利要求1所述的分布式机器学习模型传输压缩方法， 其特征在于， 所述步骤2 中的压缩算法为KLT时， 所述步骤2中的将梯度张量初始矩阵分解压缩为压缩矩阵的过程 为： 步骤3.1、 计算梯度张量初始矩阵X的自相关矩阵R＝E[XXT]， 对自相关矩阵进行分解得 到特征值与特 征向量； 步骤3.2、 将特 征值与对应特 征向量按照特 征值数值大小 进行降序排列； 步骤3.3、 选取 前d个特征值对应的特 征向量构成矩阵U； 步骤3.4、 由Y＝UX计算得到变换后矩阵Y， 所述矩阵Y与矩阵U构成压缩矩阵。权　利　要　求　书 2/2 页 3 CN 115470935 A 3