(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210519513.8 (22)申请日 2022.05.12 (71)申请人 西安邮电大 学 地址 710121 陕西省西安市长安区西安邮 电大学网络空间安全学院 (72)发明人 秦宝东　杨国栋　郑东　郭瑞　 (74)专利代理 机构 西安赛博睿纳专利代理事务 所(普通合伙) 6123 6 专利代理师 张鹏 (51)Int.Cl. H04L 9/32(2006.01) H04L 9/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/20(2019.01) (54)发明名称 基于有权重分层异步联邦学习的可验证安 全聚合方法 (57)摘要 本发明属于安全 联邦学习技术领域， 且公开 了基于有权重分层异步联邦学习的可验证安全 聚合方法， 安全聚合方法主要包括： 1)密钥协商； 2)客户端执行； 3)服务器执行。 本发明为了提升 联邦学习的安全性和效率， 提出了一种有权重分 层异步联邦学习的可验证安全聚合方法， 服务器 可以为每轮参与更新的客户端分配对应的聚合 权重， 从而提高模型效率； 服务器在无法得到其 他合法客户端明文参数的条件下， 依然能够从聚 合的密文中恢复出正确的聚合参数； 服务器只需 生成并验证一个 短签名， 便可知每个客户端的待 聚合参数是否被恶意篡改， 从而可以达到提高联 邦学习效率和保证联邦学习安全性的目的。 权利要求书3页 说明书9页 附图4页 CN 114978533 A 2022.08.30 CN 114978533 A 1.基于有权重分层异步联邦学习的可验证安全聚合方法， 联邦学习中广泛采用深度神 经网络作为局部模型， 其特 征在于： 安全聚合方法主 要包括以下步骤： 1)密钥协商： 客户端与服 务器之间相互协商各自的秘钥， 用于加解密与签名验证； 2)客户端执行： 本地客户端独立更新得到更新参数， 然后客户端用自 己的秘钥对更新 参数进行加密并签名， 将加密后的更新 参数和签名发送给服 务器； 3)服务期执行： 中央服务器先聚合所有客户端的签名， 生成一个短签名并进行验证， 验 证通过后再聚合所有密文， 并恢复出正确的聚合 参数。 2.根据权利要求1所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于： 针对深度神经网络的主要特征可知， 较浅层的参数数量相对较少且对中心模型 的 性能更关键， 相应地， 较浅层的更新频率应该比较深层的更新频率高； 因此， 模型中浅层和 深层的参数可以异步更新， 从而减少服务器和 客户端之间发送的数据量， 这种更新方式称 为分层异步更新。 3.根据权利要求1所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于： 深度神经网络的浅层学习适用于不同任务和数据集的一般特征， 这意味着深度神 经网络中相对较小的一部 分参数， 即在较浅层的参数， 代表了不同数据集的一般特征； 深度 神经网络的深层学习与特定数据集的特定特征相关， 并且大量参数关注特定数据的学习特 征。 4.根据权利要求1所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于： 联邦学习中服务器在聚合客户端训练参数 的时候， 不仅根据相 应客户端上训练数 据的数据点数对每个局部模型的重要性进 行加权， 而且服务器为每轮参与训练的不同客户 端分配合适的权重值qk； 由于系统中有些客户端频繁参与模型更新， 即勤奋客户端， 有些客 户端偶尔参与模型 更新， 即懒 惰客户端， 所以服 务器采用时间加权聚合策略更加合理。 5.根据权利要求1所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于： 联邦学习系统中， 即使客户端不直接上传用户的数据， 攻击者仍然能够通过客户端 上传的模型参数间接推出客户端标签数据的特征以及数据集的成员信息； 暴露的模型参数 是由客户端的本地数据集训练得到的， 也就是说客户端的本地数据被编码到了模型参数 中； 然而， 攻击者如果可以根据暴露的模型参数构 造出相应的解码 器， 便可以根据客户端的 模型参数反向推理出客户端本地的隐私数据， 这种攻击方式称为推理攻击 。 6.根据权利要求5所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于： 每个客户端k选取自己的秘密值ak,0且只有自己知道， 客户端k根据秘密值ak,0构造 一个多项式Sk(x)， 并将所用客户端的ID分别代入多项式Sk(x)并发送给服务器， 然后， 客户 端k使用秘密值ak,0对更新参数进行掩盖并发送给服 务器。 7.根据权利要求6所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于： 客户端k生成一个K+1维的向量 然后将掩盖的更新结果 放在第一个分量 上， 并在第k+1个分量上设置一个 ‘1’， 其它分量均为 ‘0’， 即： 然后客户端k对 掩盖结果进行签名得到 权　利　要　求　书 1/3 页 2 CN 114978533 A 28.根据权利要求6所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于： 服务器接收到K个客户端的掩盖结果 以及K+1维的向量 和签名信息σk， 服务 器对每个客户端k加入对应的权重值qk并聚合成一个短签名 然后对短签 名 σAgg进行验证， 判断双线性对E1:e( σAgg, β )是否等于双线性对 9.根据权利要求6所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于： 服务器将每个客户端k的权重值qk加入到掩盖结果 中， 并进行聚合得到 服务器使用协商的总 秘钥S对聚合结果进行 掩盖抵消， 得到抵消结果 服务器根据总数据点数N便可 计算出中央模型安全聚合的结果 10.根据权利要求1所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于， 1)的具体步骤为： A、 客户端k根据自己选择的秘密值ak,0以及本地数据点的点数nk， 分别构造h ‑1多项式 和 B、 客户端k将所有客户端的ID分别代入自己构造的多项式Sk(x)和Nk(x)中并发送给服 务器， 此时服务器对Sk(x)代入客户端k对应的权重值qk， Nk(x)保持不变， 然后服务器将客户 端ID相同的多项式进行整理得到S(xk)和N(xk)， 并分别对S(xk)和N(xk)进行求和得到客户 端k的秘密份额Sk和本地数据点数份额 Nk； C、 服务器通过k个客户端的Sk和Nk， 由拉格朗日插值法恢复出总秘密S和总 数据点数N， 选择G1、 G2和GT均是阶为 素数p的循环群， 建立双线性映射 e:G1×G2→GT， 是G2→G1的一种高 效可计算同构， 生成双线性群元组 选择一个生成元β ←G2\{1}； 每个客户端之间共享一个私钥 并计算u＝βγ； 选择一个哈希函数H:{0,1}*×{0,1}* →G1； 公钥PK＝(G,H, β,u)用于服 务器验证 签名， 私钥SK＝γ用于客户端生成签名。 11.根据权利要求1所述的基于有权重分层异步联邦学习的可验证安全聚合方法， 其特 征在于， 2)的具体步骤为： 客户端k从服 务器接收最 新的ωt,g,ωt,s,flag用于本轮更新； 客户端先对浅层深度神经网络参数 进行更新得到 然后对更新结果 进 行秘密参数掩盖得到 再对掩盖结果 签名得到σk,g； 最后， 将掩盖结果 和签名σk,g发送给服务器， 若flag为 ‘是’， 则对深层深度神经 网权　利　要　求　书 2/3 页 3 CN 114978533 A 3