(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211145570.0 (22)申请日 2022.09.20 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 刘吉　李广昊　李兴建　窦德景　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 项京　孙翠贤 (51)Int.Cl. G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 联邦学习方法、 装置、 系统、 中央服务器、 客 户机及介质 (57)摘要 本公开提供了一种联邦学习方法、 装置、 系 统、 中央服务器、 客户机及介质， 涉及数据处理技 术领域， 尤其涉及大数据、 深度学习等技术领域。 具体实现方案为： 中央服务器向每个客户机发送 全局模型的第一参数以及每个客户机的冻结信 息； 接收每个客户机发送的局部模 型的第二参数 和局部模型中每个神经元的梯度； 根据每个客户 机的第二参数， 更新第一参数， 并确定全局模型 中每个神经元的梯度； 基于每个客户机的局部模 型中每个神经元的梯度和全局模型中每个神经 元的梯度， 更新每个客户机的冻结信息， 返回执 行向每个客户机发送全局模型的第一参数以及 冻结信息的步骤， 直至局部模型和全局模型收 敛。 权利要求书4页 说明书18页 附图7页 CN 115481731 A 2022.12.16 CN 115481731 A 1.一种联邦学习方法， 应用于中央服 务器， 包括： 向每个客户机发送全局模型的第 一参数以及每个客户机的冻结信 息， 所述冻结信 息指 示客户机冻结属于客户机专属表达的神经元， 并指示客户机解冻属于客户机公共表达的神 经元； 接收每个客户机发送的局部模型的第二 参数和所述局部模型中每 个神经元的梯度； 根据每个客户机的第二参数， 更新所述第一参数， 并确定所述全局模型中每个神经元 的梯度； 基于每个客户机的局部模型中每个神经元的梯度和所述全局模型中每个神经元的梯 度， 更新每个客户机的冻 结信息， 返回执行所述向每个客户机发送全局模型 的第一参数以 及冻结信息的步骤， 直至所述局部模型和所述全局模型收敛。 2.根据权利要求1所述的方法， 所述第 一参数包括每个神经元的第 一子参数， 所述第 二 参数包括每 个神经元的第二子参数； 所述根据每个客户机发送的第二 参数， 更新所述第一 参数的步骤， 包括： 基于每个客户机的冻结信 息， 筛选出每个客户机的局部模型中属于客户机公共表达的 神经元； 聚合筛选出的每 个神经元的第二子参数， 得到更新后的每 个神经元的第一子参数。 3.根据权利要求2所述的方法， 所述方法还 包括： 若任一神经元不属于任一客户机的公共表达， 则保持所述全局模型中所述任一神经元 的第一子参数不变。 4.根据权利要求1所述的方法， 所述第 一参数包括每个神经元的第 一子参数， 所述第 二 参数包括每 个神经元的第二子参数； 所述根据每个客户机发送的第二 参数， 更新所述第一 参数的步骤， 包括： 聚合每个客户机的每个神经元的第二子参数， 得到更新后的每个神经元的第一子参 数。 5.根据权利要求1所述的方法， 所述基于每个客户机的局部模型中每个神经元的梯度 和所述全局模型中每 个神经元的梯度， 更新每 个客户机的冻结信息的步骤， 包括： 基于每个客户机的局部模型中每个神经元的梯度和所述全局模型中每个神经元的梯 度， 确定每个客户机的局部模型和全局模型中梯度变化方向相反的第一神经元和梯度变化 方向相同的第二神经 元； 基于每个客户机的局部模型中的第 一神经元和第 二神经元， 更新每个客户机的冻结信 息。 6.根据权利要求5所述的方法， 所述基于每个客户机的局部模型中的第一神经元和第 二神经元， 更新每 个客户机的冻结信息的步骤， 包括： 更新每个客户机的冻结信息， 更新后的冻结信息指示冻结局部模型中的第一神经元， 并指示解冻局部模型中的第二神经 元。 7.根据权利要求5所述的方法， 所述基于每个客户机的局部模型中的第一神经元和第 二神经元， 更新每 个客户机的冻结信息的步骤， 包括： 计算每个客户机的局部模型中每个第 一神经元当前的梯度与 上一梯度的和值， 作为缓 冲梯度；权　利　要　求　书 1/4 页 2 CN 115481731 A 2确定每个客户机的局部模型中缓冲梯度与当前的梯度的变化方向相反的每个第一神 经元， 作为第三神经元， 并确定每个客户机的局部模型中缓冲梯度与当前 的梯度的变化方 向相同的每 个第一神经 元， 作为第四神经 元； 更新每个客户机的冻结信息， 更新后的冻结信息指示冻结局部模型中的第 四神经元， 并指示解冻局部模型中的第二神经 元和第三神经 元。 8.根据权利要求1 ‑7任一项所述的方法， 所述冻结信息采用掩码模型表示， 所述掩码模 型中的掩码与所述局部模型中的神经 元一一对应； 所述掩码模型中， 属于客户机专属表达的神经元对应的掩码为第一预设值， 属于客户 机公共表达的神经元对应的掩码为第二预设值， 所述第一预设值指示冻 结神经元， 所述第 二预设值指示 解冻神经 元。 9.根据权利要求8所述的方法， 所述第一预设值 为0， 所述第二预设值 为1。 10.一种联邦学习方法， 应用于客户机， 包括： 接收中央服务器发送的全局模型的第 一参数以及所述客户机的冻结信 息， 所述冻结信 息指示所述客户机冻结属于客户机专属表达的神经元， 并指示客户机解冻属于客户机公共 表达的神经 元； 基于所述第 一参数和所述冻结信 息， 更新所述客户机的局部模型中属于所述客户机公 共表达的神经 元； 使用所述客户机的训练数据训练更新后的局部模型， 得到所述局部模型中每个神经元 的梯度； 根据所述局部模型中每个神经元的梯度和所述冻结信 息， 调整所述更新后的局部模型 中属于所述 客户机公共表达的神经 元； 向所述中央服务器发送调整后的局部模型的第二参数和所述局部模型中每个神经元 的梯度， 返回执行所述接收中央服务器发送的全局模型的第一参数以及所述客户机的冻结 信息的步骤， 直至所述局部模型和所述全局模型收敛。 11.根据权利要求10所述的方法， 所述冻结信 息采用掩码模型表示， 所述掩码模型中的 掩码与所述局部模型中的神经 元一一对应； 所述掩码模型中， 属于客户机专属表达的神经元对应的掩码为第一预设值， 属于客户 机公共表达的神经元对应的掩码为第二预设值， 所述第一预设值指示冻 结神经元， 所述第 二预设值指示 解冻神经 元。 12.根据权利要求1 1所述的方法， 所述第一预设值 为0， 所述第二预设值 为1。 13.一种联邦学习装置， 应用于中央服 务器， 包括： 发送单元， 用于向每个客户机发送全局模型的第一参数以及每个客户机的冻结信息， 所述冻结信息指示客户机冻结属于客户机专属表达的神经元， 并指示客户机解冻属于客户 机公共表达的神经 元； 接收单元， 用于接收每个客户机发送的局部模型的第 二参数和所述局部模型中每个神 经元的梯度； 第一更新单元， 用于根据每个客户机的第二参数， 更新所述第一参数， 并确定所述全局 模型中每 个神经元的梯度； 第二更新单元， 用于基于每个客户机的局部模型中每个神经元的梯度和所述全局模型权　利　要　求　书 2/4 页 3 CN 115481731 A 3