(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211197446.9 (22)申请日 2022.09.29 (71)申请人 青岛科技大 学 地址 266000 山东省青岛市崂山区松岭路 99号 (72)发明人 王玲玲　赵雪芹　王琳　陆忠锴　 张首勋　 (74)专利代理 机构 青岛中天汇智知识产权代理 有限公司 37241 专利代理师 韩丽萍 (51)Int.Cl. H04L 9/32(2006.01) H04L 9/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种去中心化联邦学习方法 (57)摘要 本发明公开了一种去中心 化联邦学习方法， 初始化阶段以公共参数生成器生成公共参数分 发给多个节点， 多个节点协作生成和发布crs， 解 决陷门泄漏问题； 本地阶段对本地训练的结果进 行加密并生成一个本地证明， 用于证明这个梯度 是正确的， 完成m个节点广播的梯度密文和本地 证明， 每个完成节点将它们的秘密划分成n部分， 分别分配到OT表中对应的当前在线节点； 聚合阶 段在线节点在接收到数个梯度密文后计算当前 的聚合结果， 直到m个梯度密文被聚合后在线将 合作恢复秘密用于验证聚合结果的正确性； 更新 阶段每个在线节点验证秘密是否正确， 验证方程 成立节点解密得到聚合的梯度明文并更新全局 模型。 本发 明在不影响准确性的情况下同时提高 了隐私保护和可信性。 权利要求书4页 说明书10页 附图1页 CN 115549922 A 2022.12.30 CN 115549922 A 1.一种去中心化联邦学习方法， 其特征在于： 至少包括初始化阶段、 本地阶段、 聚合阶 段和更新阶段； 其中： 初始化阶段， 公共参数生成器生成公共参数， 分发给多个节点， 多个节点协作生成和发 布crs， 以解决陷门泄漏问题， 最初的全局模型θ0由去中心的联邦学习发起 者发布； 本地阶段， 在去中心的联邦学习任务的每次迭代中， 完成节点使用本地数据集训练新 一轮的本地模型， 对本地训练的结果进 行加密， 并生成一个本地证明， 用于证明这个梯度是 正确的， 完成m个节点广播的梯度密 文和本地证明， 此外， 第一个完整的节 点维护一个 OT表， 该表记录当前的n个在线节点， 每个完成节点将它们的秘密划分成n部分， 分别分配到OT表 中对应的当前在线节点； 聚合阶段， 在线节点在接收到数个梯度密文后， 计算当前的聚合结果， 直到m个梯度密 文被聚合， 而后在线将合作恢复秘密用于验证聚合结果的正确性； 更新阶段， 每个在线节点首先验证秘密是否正确， 如果验证方程成立， 节点解密得到聚 合的梯度明文并更新全局模型。 2.根据权利要求1所述的去中心化联邦学习方法， 其特征在于： 所述本地阶段的具体步 骤如下： 步骤一、 PPG生成公共 参数： 公共 参数生成器选择一个 大素数p， 生成一个p阶素数群 其中p>2λ， λ是安全参数， 并生成三个群G1,G2,GT满足e(G1,G2)→GT， 接着选择两个常数序列a ＝(a1,a2,...,al+1)和b＝(b1,b2,...,bl+1)， 每个序列的常数没有交集并且 再选 择l+1正整数(h1,h2,...,hl+1)， 定义 这些常数序列和正整数用于加 密和解密节 点的梯度， 最后， P PG将参数 公开； 步骤二、 节点生成crs： 假设有ρ 个节点协同生成crs， 每个节点首先将本地证明的约束 条件从一种NP语言转换为对应的关系， 然后每个节点选择5个随机数xi， αi， βi， γi， δi∈Zq， 计算如下： 其中[ ]1表示G1组中的加密操作， [ ]2表示G2组中的加密操作， 然后每个节点广播 接收来自其 他ρ‑1节点的广播， 并将所有节点的参数聚合如下： 接着， 每个节点计算crs＝([σ1]1,[σ2]2)如下 ， 其中 ， ∈是陈述的数量， 权　利　要　求　书 1/4 页 2 CN 115549922 A 2最后， 将crs＝([σ1]1,[σ2]2)公开给所有节点。 3.根据权利要求1所述的去中心化联邦学习方法， 其特征在于： 所述本地阶段， 每个节 点都会执 行以下操作， 以完成DFL任务： 步骤一、 本地模型训练： 假设Ni在第η轮训练中获得了全局模型θη‑1， Ni在数据集Di的子 集上训练本地模型， 得到梯度明文gi， 假设所有节点都共享本地数据过滤算 法Scr()过滤出 错误数据， 首先过滤D ′i， 得到正确的数据集 其中D′i是Di的子集， 然后Ni利用 θη‑1和子集 计算梯度gi， 步骤二、 梯度加密： Ni使用梯度加密算法GEnc对梯度明文gi进行加密， Ni首先使用伪随 机发生器PRG(b)通过随机种子b生成l+1维随机向量ri＝(r1,r2,...,rl+1)， 接下来， Ni用梯 度gi作为系数， 计算 一个打包的随机数Ri， Ri≡(r1H1G1+r2H2G2+...+rl+1Hl+1Gl+1)mod H 再将Ri作为常数和梯度作为系数来构造了l阶多项式Fi(x)如下， 由于l阶多项式需要至 少l+1个多项式值(x,y)才能恢复， 因此Ni将常数序列a＝(a1,a2,...,al+1)作为多项式Fi(x) 的输入， 得到l+1多项式值 Fi(a1),Fi(a2),...,Fi(al+1)， 考虑到通信开销， 通 过使用剩余定理 (CRT)打包多 项式值Fi(a1)， Fi(a2)、 ...， Fi(al+1)， 如下所示： y≡(Fi(a1)H1G1+Fi(a2)H2G2+...+Fi(al+1)Hl+1Gl+1)mod H 其中Hi＝H/hi和 使用CRT的同态性质来随机化多 项式值如下： y＝CRT(Fi(a1),...,Fi(al+1))+Ri ＝CRT(Fi(a1),...,i(aFl+1))+CRT(r1,...,rl+1) ＝(Fi(a1)+r1)H1G1+...+(Fi(al+1)+rl+1)Hl+1Gl+1 然后Ni利用秘密共 享SS将打包的随机数Ri划分成n个部分fi(b1),fi(b2),...fi(bl+1)， 其 中用来恢复打包的随机数的所需阈值为 最后， Ni得到梯度密文(Yi,fi(b1),fi (b2),...fi(bl+1))， GEnc中的Yi的计算作为zk ‑SNARK中的约束条件， 简称Yi＝GEnc(gi,a)， 步骤三、 本地证明的生成： 每个节点都需要通过Groth方案生成一个证明， 无需可信设 置和陷门， 该证明用于更新本地模型和梯度加密的正确执 行， Ni生成的zk ‑SNARK证明如下： 其中， Ni的陈述si是( θη‑1,a,Yi)， 而证据ωi是 由于zk‑SNARK中关于本地训练 模型的证明时间长， 可采用简化证明工作加速证明性能， 最后， Ni向所有当前的在线节点广 播 假设m个完成节点广播它们的梯度密文Y1,Y2,...,Ym和n个在线节点执行 聚合操作， 第一个完成节点维护并共享一个记录当前在线节点的在线表OT＝(N1,N2,..., Nn)， 然后， Ni分发了秘密Ri的部分fi(bj)给OT表中对应的在线节点 Nj， 其中j∈1,2,. ..,n。权　利　要　求　书 2/4 页 3 CN 115549922 A 3