(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211253769.5 (22)申请日 2022.10.13 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 马汝辉　张剑清　褚学森　宋涛　 管海兵　 (74)专利代理 机构 上海旭诚知识产权代理有限 公司 312 20 专利代理师 郑立 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于自适应本地聚合的个性化联邦学 习方法 (57)摘要 本发明公开了一种基于自适应本地聚合的 个性化联邦学习方法， 涉及联邦学习技术领域， 包括以下步骤： 服务器发送全局模型Θ0到所有 客户机中， 初始化各个客户机的本地模型； 客户 机i执行第t轮迭代训练， 执行自适应本地聚合， 得到初始化本地模型； 根据t值判断是否需要进 行自适应本地聚合权重训练， 以得到新的自适应 本地聚合权重并更新初始化本地模 型； 采用梯度 下降方式更新本地模型， 并发送到服务器； 服务 器对接收到的本地模型执行全局聚合生成全局 模型Θt。 本发明能够捕获全局模型中提升本地 模型质量的信息， 促进本地模型训练， 能够应用 于现有的其他联邦学习方法， 实现全局模型中信 息的精准提取， 并利用提取到的信息提升模型在 各个客户机上的个性 化表现。 权利要求书2页 说明书6页 附图2页 CN 115481755 A 2022.12.16 CN 115481755 A 1.一种基于自适应本地聚合的个性化联邦学习方法， 其特征在于， 所述方法包括以下 步骤： 步骤1、 服务器发送初始的全局模型Θ0到所有客户机中， 初始化各个客户机的本地模 型， 客户机初始化 自适应本地聚合权重； 其中， i为客户机编号， t为当前个性化联邦学习的 轮数； 步骤2、 客户机i执行第t轮迭代训练， 根据服务器发送的全局模型Θt‑1执行自适应本地 聚合， 得到 本次迭代的初始化本地模型； 步骤3、 根据t值判断是否需要进行自适应本地聚合权重训练， 以得到新的自适应本地 聚合权重； 若得到新的自适应本地聚合权 重， 则执行自适应本地聚合更新初始化本地模型； 步骤4、 客户机i采用梯度下降方式更新本地模型， 并将本地模型发送到服 务器； 步骤5、 服 务器对接收到的本地模型 执行全局聚合 生成全局模型Θt； 步骤6、 重复步骤2至步骤5， 执行T轮迭代训练， 直到各个客户机的本地模型训练收敛； 其中， t∈[0,T]。 2.如权利要求1所述的基于自适应本地 聚合的个性化联邦学习方法， 其特征在于， 所述 步骤1还包括： 定义全局目标函数为： 一般地， 式中， Li为本地目标函数； L( ·)为损失函数； Di为第i个客户机上的数据集； |Di|为第i 个客户机上的数据集的大小； Θ为全局模型； 为第i个客户机上的初始化本地模型。 3.如权利要求2所述的基于自适应本地 聚合的个性化联邦学习方法， 其特征在于， 所述 步骤1还包括： 由于全局目标函数的可加性， 分别求： 来实现对G( ·)的求解。 4.如权利要求3所述的基于自适应本地 聚合的个性化联邦学习方法， 其特征在于， 在所 述步骤2中， 每轮个性化联邦学习中服务器根据客户机的参与率ρ， 随机选择N个客户机中的 一个子集 It发送全局模型。 5.如权利要求4所述的基于自适应本地 聚合的个性化联邦学习方法， 其特征在于， 根据 以下公式执 行自适应本地聚合： 其中， Wip为自适应本地聚合权重， p表示只应用本地聚合在本地模型的倒数第p层上； Θi为第i个客户机上的本地模型； 与Θt‑1中的前|Θi|‑p层网络层具有同样的形状， Wip 与Θt‑1中的后p层网络层具有同样的形状， 表示用Θt‑1中|Θi|‑p中的参数覆盖Θt‑1中相应 层的参数， 实现对 中低层网络层参数的本地初始化。权　利　要　求　书 1/2 页 2 CN 115481755 A 26.如权利要求5所述的基于自适应本地 聚合的个性化联邦学习方法， 其特征在于， 所述 步骤3还包括： 若t＝1， 则不进行自适应本地聚合权 重训练； 若t＝2， 则重复进行自适应本地聚合权 重训练， 直到自适应本地聚合权 重收敛； 若t＞2， 则进行一次自适应本地聚合权 重训练。 7.如权利要求6所述的基于自适应本地 聚合的个性化联邦学习方法， 其特征在于， 所述 自适应本地聚合权 重训练包括： 将本地模型 和权重更新 冻结不参与训练； 在部分本地数据集上进行训练得到新的自适应本地聚合权 重。 8.如权利要求7所述的基于自适应本地 聚合的个性化联邦学习方法， 其特征在于， 所述 在部分本地数据集上进行训练得到新的自适应本地聚合权 重为： 客户机i从本地数据集Di中采样s％数据得到 部分数据集 用梯度下降的方式优化： 其中， η为权 重训练的学习率； 得到自适应调整后的Wip， 根据σ(w)＝max(0,mi n(1,w))按元素进行剪枝。 9.如权利要求8所述的基于自适应本地 聚合的个性化联邦学习方法， 其特征在于， 所述 客户机i采用梯度下降方式更新本地模型如下： 其中， α 为本地模型训练的学习率。 10.如权利要求9所述的基于自适应本地聚合的个性化联邦学习方法， 其特征在于， 在 所述步骤5中， 根据以下公式执 行全局聚合： 权　利　要　求　书 2/2 页 3 CN 115481755 A 3