(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111318689.9 (22)申请日 2021.11.09 (71)申请人 长春理工大 学 地址 130022 吉林省长 春市朝阳区卫星路 7186号 (72)发明人 张剑飞　张婧　冯欣　杨宏伟　 吕帅帅　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 代理人 赵兴华 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) (54)发明名称 一种选择客户端的分簇联邦学习方法及系 统 (57)摘要 本发明提供了一种选择客户端的分簇联邦 学习方法及系统， 其中， 方法包括： 获取数据 样品 标签矩阵； 数据样品标签矩阵中的元素为与服务 器连接的多个客户端的本地数据标签； 根据数据 样品标签矩阵， 利用K ‑Means++算法对为与服务 器连接的多个客户端进行分簇处理， 得到多个 簇； 分别利用每个簇中的客户端的本地数据， 对 全局初始模 型进行训练， 得到每个簇的簇全局模 型。 本发明通过将为与服务器连接的多个客户端 进行分簇处理并分别进行连邦学习， 能够降低 Non‑IID数据程度对联邦学习的影响， 同时降低 客户端上传本地模型至服 务器阶段的通信开销。 权利要求书3页 说明书8页 附图3页 CN 113988314 A 2022.01.28 CN 113988314 A 1.一种选择客户端的分簇联邦学习方法， 其特 征在于， 所述方法， 包括： 获取数据样品标签矩阵； 所述数据样品标签矩阵中的元素为与服务器连接的多个客户 端的本地数据标签； 根据所述数据样品标签矩阵， 利用K ‑Means++算法对为与服务器连接的多个客户端进 行分簇处 理， 得到多个簇； 分别利用每个所述簇中的客户端的本地数据， 对全局初始模型进行训练， 得到每个所 述簇的簇全局模型。 2.根据权利要求1所述的选择客户端的分簇联邦学习方法， 其特征在于， 所述分别利用 每个所述簇中的客户端的本地数据， 对全局初始模型进行训练， 得到每个所述簇的簇全局 模型， 具体包括： 确定任一簇为当前簇； 所述当前簇 中的多个客户端分别获取服务器发送的全局初始模型， 并将所述全局初始 模型确定为本地初始模型； 所述当前簇中的多个客户端分别利用本地数据， 对所述本地初始模型进行训练， 得到 所述当前簇中的每 个客户端的本地模型； 根据多个所述本地模型， 更新所述当前簇； 所述服务器将更新后的所述当前簇中多个客户端对应的本地模型进行聚合， 得到当前 簇的聚合模型； 判断所述当前簇的聚合模型 是否收敛， 得到第一判断结果； 若所述第一判断结果为否， 则将所述当前簇的聚合模型作为所述本地初始模型， 并返 回步骤“所述当前簇中的多个客户端分别利用本地数据， 对所述本地初始模型进 行训练， 得 到所述当前簇中的每 个客户端的本地模型 ”； 若所述第一判断结果 为是， 则确定当前簇的聚合模型为所述当前簇的簇全局模型。 3.根据权利要求2所述的选择客户端的分簇联邦学习方法， 其特征在于， 所述根据多个 所述本地模型， 更新所述当前簇， 具体包括： 分别计算所述当前簇中多个本地模型的评估分数； 根据所述评估分数， 更新每 个所述本地模型的惩罚因子； 删除所述当前簇 中惩罚因子小于惩罚因子 阈值的本地模型对应的客户端， 得到更新后 所述当前簇 。 4.根据权利要求3所述的选择客户端的分簇联邦学习方法， 其特征在于， 所述根据 所述 评估分数， 更新每 个所述本地模型的惩罚因子， 具体包括： 确定所述当前簇中任一 客户端对应的本地模型为当前本地模型； 判断所述当前本地模型的评估分数 是否小于 评估分数阈值， 得到第二判断结果； 若所述第二判断结果 为是， 则将所述当前本地模型的惩罚因子的数值减小1； 若所述第二判断结果 为否， 则将所述当前本地模型的惩罚因子的数值增 加1。 5.根据权利要求3所述的选择客户端的分簇联邦学习方法， 其特征在于， 所述评估分数 的计算公式为： 权　利　要　求　书 1/3 页 2 CN 113988314 A 2其中， S为评估分数； E为总通信轮次； we+M为客户端i在e+M轮的训练权重； acci， e+M为客户 端i在第e+M轮的训练准确率； M为1次迭代时本地模型的训练次数； testacc， i， e+M为客户端i在 第e+M轮的测试准确率； avgacc， e+M为该簇中的客户端在第e+M轮的平均准确率。 6.一种选择客户端的分簇联邦学习 系统， 其特 征在于， 所述系统， 包括： 数据样品标签矩阵获取模块， 用于获取数据样品标签矩阵； 所述数据样品标签矩阵中 的元素为与服 务器连接的多个客户端的本地数据标签； 分簇处理模块， 用于根据所述数据样品标签矩阵， 利用K ‑Means++算法对为与 服务器连 接的多个客户端 进行分簇处 理， 得到多个簇； 簇全局模型确定模块， 用于分别利用每个所述簇中的客户端的本地数据， 对全局初始 模型进行训练， 得到每 个所述簇的簇全局模型。 7.根据权利要求6所述的选择客户端的分簇联邦学习系统， 其特征在于， 所述簇全局模 型确定模块， 具体包括： 当前簇确定 子模块， 用于确定任一簇为当前簇； 本地初始模型确定子模块， 用于所述当前簇 中的多个客户端分别获取服务器发送的全 局初始模型， 并将所述全局初始模型确定为本地初始模型； 本地模型确定子模块， 用于使所述当前簇中的多个客户端分别利用本地数据， 对所述 本地初始模型进行训练， 得到所述当前簇中的每 个客户端的本地模型； 当前簇更新子模块， 用于根据多个所述本地模型， 更新所述当前簇； 聚合模型确定子模块， 用于使所述服务器将更新后的所述当前簇 中多个客户端对应的 本地模型进行聚合， 得到当前簇的聚合模型； 第一判断子模块， 用于判断所述当前簇的聚合模型是否收敛， 得到第 一判断结果； 若所 述第一判断结果为否， 则调用本地初始模型更新子模块； 若 所述第一判断结果为是， 则调用 簇全局模型确定 子模块； 本地初始模型更新子模块， 用于将所述当前簇的聚合模型作为所述本地初始模型， 并 调用所述本地模型确定 子模块； 簇全局模型确定 子模块， 用于确定当前簇的聚合模型为所述当前簇的簇全局模型。 8.根据权利要7所述的选择客户端的分簇联邦学习系统， 其特征在于， 所述当前簇更新 子模块， 具体包括： 评估分数计算单 元， 用于分别计算所述当前簇中多个本地模型的评估分数； 惩罚因子更新单 元， 用于根据所述评估分数， 更新每 个所述本地模型的惩罚因子； 当前簇更新单元， 用于删除所述当前簇 中惩罚因子小于惩罚因子阈值的本地模型对应 的客户端， 得到更新后所述当前簇 。 9.根据权利要求8所述的选择客户端的分簇联邦学习系统， 其特征在于， 所述惩罚因子 更新单元， 具体包括： 当前本地模型确定子单元， 用于确定所述当前簇中任一客户端对应的本地模型为当前 本地模型； 第二判断子单元， 用于判断所述当前本地模型的评估分数是否小于评估分数阈值， 得 到第二判断结果； 若 所述第二判断结果为是， 则调用第一惩罚因子更新子单元； 若 所述第二 判断结果 为否， 则调用第二 惩罚因子更新子单 元；权　利　要　求　书 2/3 页 3 CN 113988314 A 3