(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111535624.X (22)申请日 2021.12.15 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 杨磊　甘颖棋　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 代理人 周春丽 (51)Int.Cl. G06F 30/18(2020.01) G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种针对层次化模型训练框架的聚合频率 控制方法 (57)摘要 本发明公开了一种针对层次化模型训练框 架的聚合频率控制方法， 包括以下步骤： 确定层 次化模型训练聚合拓扑； 定义在层次化模型训练 框架下， 采用弱同步的通信方式进行模型训练和 聚合的过程； 基于层次化模型训练聚合拓扑， 对 每个边缘节 点进行资源建模； 根据每个边缘节点 的计算资源和通信资源， 使用启发 式的算法输出 每个边缘节 点的聚合频率， 使得同一层的边缘节 点具有不同的聚合频率， 达到资源利用率的最大 化； 为了解决边缘节点聚合频率相差太大所带来 的精度损失， 使用自适应的方法， 在模型训练的 过程中动态 地调整节点的聚合频率。 本发明能够 解决异构的边缘环境下， 使用强同步的通信方 法， 造成通信时间长、 资源利用率低以及训练效 果不佳的问题。 权利要求书4页 说明书15页 附图3页 CN 114357676 A 2022.04.15 CN 114357676 A 1.一种针对层次化模型训练框架的聚合频率控制方法， 其特 征在于， 包括以下步骤： S1、 根据边缘节点的网络拓扑结构和其数据集的数据分布， 确定层次化模型训练聚合 拓扑， 边缘节点以树的形式连接， 叶子节点负责进行本地更新， 非叶子节点负责模型聚合； S2、 定义在 层次化模型训练框架下进行模型训练和聚合的过程； S3、 基于层次化模型训练聚合拓扑， 对每 个边缘节点进行资源建模； S4、 根据每个边缘节点的计算资源和通信资源， 使用启发式的算法输出每个边缘节点 的聚合频率； S5、 使用输出的聚合频率在层次化模型训练框架下进行模型训练， 判断该方法的训练 效果是否比基准方法差， 如果比基准方法好， 则步骤S4的输出为每个边缘节点的最优聚合 频率； 如果比基准方法差， 则使用自适应的方法， 在 模型训练的过程中动态地调整节点的聚 合频率。 2.根据权利要求1所述一种针对层次化模型训练框架的聚合频率控制方法， 其特征在 于， 所述步骤S1具体为： S101、 使用节点分组算法， 根据物理网络拓扑、 边缘节点所拥有的资源以及其数据分 布， 将同一层次的边 缘节点分成不同的小组， 组内的边 缘节点会进行模型聚合； S102、 找出每一组节点的中心节点， 所述中心节点负责模型聚合， 组内的所有节点作 为 其孩子节点； 孩子节点在本地进行模型训练或模型聚合， 并将聚合后的模型参数传输给中 心节点进 行模型聚合， 中心节点聚合完成后将聚合后的模型参数下发给中心节点的所有子 孙节点， 此步骤中， 每一个分组节点构成一颗 子树； S103、 把步骤S102中构 建的子树作 为新的节点， 形成新的网络拓扑结构， 以进行进一步 的分组， 在新的网络拓扑结构中， 步骤S102构建的子树的根节 点是网络拓扑中的一个顶 点； 重复进行步骤S101和步骤S102， 对子树进行分组， 并形成新的子树结构， 直到最终只剩下一 颗子树， 该子树 就是最终确定的层次化模型训练聚合拓扑。 3.根据权利要求1所述一种针对层次化模型训练框架的聚合频率控制方法， 其特征在 于， 步骤S2是在层次化模型训练框架下采用弱同步的通信方式进行模型训练和聚合的过 程： 根据网络拓扑和数据分布， 边缘节点组织成树的形状， 其中叶子节点作为训练节点进 行本地更新， 非叶子节点作为聚合节 点进行模型聚合； 若一个边缘节点拥有更多的资源， 则 该边缘节点既是训练节点， 也是聚合节点； 一个节点拥有更多的资源， 指的是在同一分组内 连接同一个父节点的孩 子节点进行本地计算和模型传输所花费的时间比其 他节点少； 整个模型训练过程， 按照层次化的模型训练聚合拓扑， 自底向上地进行训练， 分为本地 更新和模型聚合两个步骤； 对于本地更新， 叶子节点i并行地进行 轮本地更新； 接着， 叶 子节点把本地训练后得到的模型参数上传给其父节点p； 对于模型聚合， 父节点p接 收到其 所有孩子节点的模型参数后， 计算所有节点模型参数 的带权平均和， 并把聚合后的模型参 数下发给其所有的子孙节点； 当聚合节点进 行 轮的模型聚合后， 聚合节点把更新的模 型参数发送给其父节点进 行模型聚合； 整个训练过程， 递归地自下往 上， 直到根节点进行完 一轮的全局聚合， 并把聚合的模型参数下发给其所有的子孙节点， 此时根节点完成一轮全权　利　要　求　书 1/4 页 2 CN 114357676 A 2局聚合， 即为一轮模 型训练， 其中， 表示在树形结构的第h层且其父节点是p的边缘节点i 的聚合频率值； 当h＝1时， 表示边缘节点i的本地更新频率， 节点i是训练节点负责本地 更新； 当1< h时， 表示边缘节点i的模型聚合频率， 节点是聚合节点负责模型聚合。 4.根据权利要求3所述一种针对层次化模型训练框架的聚合频率控制方法， 其特征在 于， 本地模型参数ωi(ki)的更新遵循以下 方式： 当 时， 在树形结构第一层的边缘节点进行本地更新， 并且更新其本地 模型参数： 其中， ki表示节点i进行第ki轮本地更新， 表示节点i进行第ki轮本地更新时的学习 率， 表示神经网络反向传播时损失函数的梯度大小； 层次化模型训练聚合拓扑呈树形结 构， 其中叶子节点进 行本地更新， 即每个叶子节 点使用其本地的数据集， 对本地模型进行梯 度计算， 并根据规则更新模 型参数； 叶子节点进 行一定轮次的本地更新后， 会把本地模型参 数传输给其父节点进行聚合； 本地模型参数ωi(ki)指的是每个叶子节点， 利用其本地数据 集对本地模型进行更新后， 传输给其父节点的模型参数； 当叶子节点的祖先节点进行完一 轮的模型聚合后， 也会将聚合后的模型参数下发给该叶子节点， 并且更新该叶子节点的本 地模型参数ωi(ki)； 当 时， 在树形结构第二层的边缘节点进行模 型聚合， 公式为： 其中， Cp,h表示在树形结构的第h层的节点p的孩子节点集合； Di表示节点i的本地数据 集； |Dp,h|表示在树形结构的第h层的节点p， 其所有孩子节点共有的本地数据集数量； 表示在树形 结构的第h层且其父节点是p的边 缘节点i， 进行模型聚合后的模型参数； 当 时， 在树形 结构第h层的边 缘节点进行模型聚合， 公式为： 其中， H表示层次化模型训练聚合拓扑(树形结构)的层数， 表示聚合节点ph‑2进 行模型聚合后的模型参数， 这个聚合节点ph‑2在树形结构的第h层， 且其父节点为ph‑1； 表示在树形结构的第h层的节点ph‑2的孩子节点集合； Di,h‑1表示在树形结构的第h ‑1 层的节点i， 其所有 孩子节点共有的本 地数据集； 表示聚合节点i进行模型聚合后的模 型参数， 这个聚合节点 i在树形结构的第h ‑1层， 且其父节点 为ph‑2； 对于祖先节点为ph‑2的所有叶子节点， 这些叶子节点的模型参数 更新为 权　利　要　求　书 2/4 页 3 CN 114357676 A 3