(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210569676.7 (22)申请日 2022.05.24 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 李建星　卞文杰　杨和　王子钊　 夏晶　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 陈翠兰 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06F 21/62(2013.01)H04L 67/01(2022.01) (54)发明名称 联邦学习梯度攻击防御方法、 系统、 设备及 介质 (57)摘要 本发明公开了一种联邦学习梯度攻击防御 方法、 系统、 设备及介质， 包括： 利用本地数据对 模型进行训练， 得到本地模型， 计算得到本地梯 度； 获联邦学习的压缩阈值， 计算得到梯度掩码 矩阵； 根据梯度掩码矩阵， 对本地梯度进行压缩， 得到压缩后的梯度； 对更新后的梯度掩码矩阵， 添加噪声， 得到添加有噪声的梯度掩码矩阵； 根 据压缩后的梯度和所述添加有噪声的梯度掩码 矩阵， 得到添加有噪声的梯度； 对添加有噪声的 梯度， 执行聚合算法， 得到全局梯度； 根据全局梯 度， 对本地模型进行更新， 并开始下一轮模型训 练； 本发明结合差分隐私技术， 利用添加有噪声 的梯度能够有效防止梯度攻击； 通过全局矩阵， 实现对添加的噪声量的控制， 有效提高了模型的 精度。 权利要求书2页 说明书10页 附图2页 CN 115222057 A 2022.10.21 CN 115222057 A 1.一种联邦学习梯度攻击防御方法， 其特 征在于， 方法包括： 利用本地数据对 模型进行训练， 得到 本地模型， 并计算得到 本地梯度； 获联邦学习的压缩阈值， 计算得到梯度掩码矩阵； 根据所述梯度掩码矩阵， 对所述本地梯度进行压缩， 得到 压缩后的梯度； 对所述梯度掩码矩阵进行 更新， 得到更新后的梯度掩码矩阵； 对所述更新后的梯度掩码矩阵， 添加噪声， 得到添加有噪声的梯度掩码矩阵； 根据所述压缩后的梯度和所述添加有噪声的梯度掩码矩阵， 得到添加有噪声的梯度； 对所述添加有噪声的梯度， 执 行聚合算法， 得到全局梯度； 根据所述全局梯度， 对所述本地模型进行 更新， 并开始下一轮模型训练。 2.根据权利要求1所述的一种联邦学习梯度攻击防御 方法， 其特征在于， 利用本地数据 对模型进行训练， 得到 本地模型的过程， 具体如下： 通过参与联邦学习的中央服务器， 确定参与联邦学习的客户端数量、 设定联邦学习和 客户端本地训练的超参数； 通过参与 联邦学习的中央服务器初始化模型， 将模型发送至所有参与联邦学习的客户 端， 并确定参加当前训练轮次的客户端； 通过所述选中参加当前训练轮次的客户端， 利用本地数据对所述模型进行训练， 得到 本地模型。 3.根据权利要求1所述的一种联邦学习梯度攻击防御 方法， 其特征在于， 获联邦学习的 压缩阈值， 计算得到梯度掩码矩阵的过程， 具体如下： 利用参与联邦学习的客户端， 计算联邦学习当前训练轮次的压缩阈值； 根据所述联邦学习当前轮次的压缩阈值， 计算得到当前训练轮次的梯度掩码矩阵； 根据所述梯度掩码矩阵， 对所述本地梯度进行压缩， 得到压缩后的梯度的过程， 具体如 下： 将所述梯度掩码矩阵和所述本地梯度进行矩阵的点乘操作， 得到所述压缩后的梯度。 4.根据权利要求1所述的一种联邦学习梯度攻击防御 方法， 其特征在于， 对所述梯度掩 码矩阵进行 更新， 得到更新后的梯度掩码矩阵的过程， 具体如下： 利用参与 联邦学习的中央服务器， 对所有参与 联邦学习的客户端上传的所述梯度掩码 矩阵进行相加， 并根据预设梯度掩码矩阵的全局阈值， 计算得到全局掩码矩阵； 根据所述全局掩码矩阵， 对所述梯度掩码矩阵进行 更新， 得到更新后的梯度掩码矩阵。 5.根据权利要求1所述的一种联邦学习梯度攻击防御 方法， 其特征在于， 对所述更新后 的梯度掩码矩阵添加噪声， 得到添加有 噪声的梯度掩码矩阵的过程中， 所述噪声为拉普拉 斯噪声或高斯噪声。 6.根据权利要求1所述的一种联邦学习梯度攻击防御 方法， 其特征在于， 所述全局梯度 为： 其中， 为全局梯度； 为第i个客户端上传的添加有噪声的梯度； N为参与联邦 学习的客户端数量。权　利　要　求　书 1/2 页 2 CN 115222057 A 27.根据权利要求1所述的一种联邦学习梯度攻击防御 方法， 其特征在于， 根据 所述全局 梯度， 对所述本地模型进行 更新的过程， 具体为： 其中， Wt+1为更新后的本地模型； Wt为当前轮次下的本地模型； η为学习率； t为联邦学习 的当前轮次。 8.一种联邦学习梯度攻击防御系统， 其特 征在于， 包括： 本地训练模块， 用于利用本地数据对模型进行训练， 得到本地模型， 并计算得到本地梯 度； 梯度掩码矩阵模块， 用于获联邦学习的压缩阈值， 计算得到梯度掩码矩阵； 梯度压缩模块， 用于根据 所述梯度掩码矩阵， 对所述本地梯度进行压缩， 得到压缩后的 梯度； 梯度掩码矩阵更新模块， 用于对所述梯度掩码矩阵进行更新， 得到更新后的梯度掩码 矩阵； 噪声模块， 用于对所述更新后的梯度掩码矩阵， 添加噪声， 得到添加有噪声的梯度掩码 矩阵； 根据所述压缩后的梯度和所述添加有噪声的梯度掩码矩阵， 得到添加有噪声的梯度； 梯度聚合模块， 用于对所述添加有噪声的梯度， 执 行聚合算法， 得到全局梯度； 本地更新模块， 用于根据 所述全局梯度， 对所述本地模型进行更新， 并开始下一轮模型 训练。 9.一种联邦学习梯度攻击防御设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1 ‑7任一项所述的联邦学习梯度 攻击防御方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求1 ‑7任一项所述的联邦学习梯度攻击 防御方法的步骤。权　利　要　求　书 2/2 页 3 CN 115222057 A 3