(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111252128.3 (22)申请日 2021.10.27 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路3 号巷11号 (72)发明人 高天寒　张天宇　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 代理人 梁焱 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种基于延迟补偿机制的异步联邦梯度平 均算法 (57)摘要 本发明公开了一种基于延迟补偿机制的异 步联邦梯度平均算法， 涉及机器学习技术领域。 该算法一方面将梯度数据加密后上传， 使得中央 服务器无法获得本地客户端的真实原始数据， 提 高了数据安全性； 另一方面通过设置一个超参数 和自适应函数， 实现该超参数根据梯度数据异步 上传过程中产生的延时周期进行动态调整。 在不 引入额外复杂计算的情况下， 将该自适应超参数 作为全局模型的权重， 利用加权平均， 实现通过 调整超参数的值达到减小全局模 型误差的目的。 第三方面将泰勒展开以及Hession近似相结合， 为了更快捷方便地计算出泰勒展 开下的Hession 矩阵， 本发明找到了一个H ession矩阵的近似器， 在不损失模型精度的前提下只计算一阶梯度信 息， 几乎不增 加存储代价。 权利要求书2页 说明书6页 附图3页 CN 113988308 A 2022.01.28 CN 113988308 A 1.一种基于延迟补偿机制的异步联邦梯度平均算法， 其特征在于， 该算法包括如下步 骤： 步骤1： 中央服 务器与参与模型训练的各本地 客户端进行通讯， 触发模型训练任务； 步骤2： 所述中央服 务器通知所述各本地 客户端从所述中央服 务器下载最新全局模型； 步骤3： 每一所述本地客户端利用本地数据对其在 当前第t计算周期 从所述中央服务器 下载的最新全局模型wt进行更新， 获得本地 最新的局部模型及其梯度信息g ′(wt)； 步骤4： 每一所述本地客户端对本地最新的梯度信息g ′(wt)进行加密， 获得本地的加密 梯度信息g(wt)； 步骤5： 参与模型训练的每一本地客户端将第t计算周期中产生的本地加密梯度信息g (wt)异步上传到中央服务器， 参与模型训练的本地客户端异步上传本地加密梯度信息时， 与中央服 务器产生相对的延迟计算周期 τ， 产生的延迟梯度为g(wt+τ)‑g(wt)； 步骤6： 在中央服务器设置一个自适应超参数α 以及自适应函数， 通过所述自适应函数 实现自适应超参数α 数值大小的自适应动态调整， 且以超参数α 作为权重对中央服务器中已 有的全局模型进行加权平均， 中央服务器在延时计算周期 τ基础上， 计算 获得下一个计算周 期t+τ +1计算周期的全局模型； 步骤7： 对步骤6中获得的第τ+τ+1计算周期的全局模型wt+τ+1中的梯度函数使用泰勒一 阶展开， 进行延时梯度补偿； 步骤8： 对步骤7泰勒展开计算结果中的Hes sian矩阵进行近似计算； 步骤9： 综合 步骤6、 步骤7和步骤8的结果， 获得全局模型的更新 规则； 步骤10： 中央服务器通过所述全局模型的更新规则来更新第t+τ+1计算周期的全局模 型wt+τ +1； 步骤11： 假设联邦学习的计算周期总数为T， 从t＝0开始不断重复步骤1 ‑10， 直到执行 完T计算周期。 2.根据权利要求1所述的基于延迟补偿机制的异步联邦梯度平均算法， 其特征在于， 所 述自适应超参数α 分布于(0～1)。 3.根据权利要求1所述的基于延迟补偿机制的异步联邦梯度平均算法， 其特征在于， 所 述自适应函数为： 其中， t代表第t计算周期； τ代 表延迟的计算周期数。 4.根据权利要求2所述的基于延迟补偿机制的异步联邦梯度平均算法， 其特征在于， 所 述通过所述自适应函数实现自适应超参数α 数值大小的自适应动态调整如下式： αt＝α×sτ 其中， at为自适应超参数α 在第t+τ计算周期通过自适应函数Sτ调整得到的具体数值。 5.根据权利要求3所述的基于延迟补偿机制的异步联邦梯度平均算法， 其特征在于， 按 照公式(1)以超参数α 作为权重对中央服务器中已有的全局模型进 行加权平均， 获得带有延 迟参数的全局模型： wt+τ +1＝(1‑αt)wt+τ+αt*wt+1‑η*g(wt)     (1) 上式中， wt+τ+1为第t+τ+1计算周期获得的全局模型； wt+1为第t+1计算周期获得的全局模权　利　要　求　书 1/2 页 2 CN 113988308 A 2型； wt+τ为第t+τ计算周期获得的全局模型； η为学习率。 6.根据权利要求5所述的基于延迟补偿机制的异步联邦梯度平均算法， 其特征在于， 按 照公式(5)对对步骤 6中获得的第t+τ +1计 算周期的全局模型wt+τ +1中的梯度函数g(wt+τ)使用 泰勒一阶展开， 将g(wt+τ)用g(wt)进行表示， 实现延时梯度补偿： 其中， g(wt+τ)为t+τ计算周期的梯度信息g(wt+τ)。 7.根据权利要求6所述的基于延迟补偿机制的异步联邦梯度平均算法， 其特征在于， 所 述对步骤 7泰勒展开计算结果中的Hessian矩阵进行近似计算的方法为： 利用矩阵的乘积运 算和设置一个影响因子λ， 通过修改λ的值对Hession矩阵进行公式(6)所示的有效近似计 算： 8.根据权利要求7所述的基于延迟补偿机制的异步联邦梯度平均算法， 其特征在于， 所 述全局模型的更新 规则如式(7)所示： wt+τ +1＝(1‑αt)wt+τ+αt*wt+1‑η*(g(wt)+λ g(wt)⊙g(wt)⊙(wt+τ‑wt))       (7)。权　利　要　求　书 2/2 页 3 CN 113988308 A 3