(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211134191.1
(22)申请日 2022.09.16
(71)申请人 中国电信股份有限公司
地址 100033 北京市西城区金融大街31号
(72)发明人 周文君
(74)专利代理 机构 北京律智知识产权代理有限
公司 11438
专利代理师 孙宝海
(51)Int.Cl.
G06F 9/50(2006.01)
G06F 21/62(2013.01)
G06N 20/00(2019.01)
(54)发明名称
基于云原生技术的联邦学习计算引擎编排
方法及其设备
(57)摘要
本申请揭示了一种基于云原生技术的联邦
学习计算引擎编排方法、 设备及存储介质, 该方
法应用于一种云原生平台, 包括: 获取联邦学习
平台的计算引擎控制器下发的管理单元调度需
求, 其中, 管理单元调度需求由联邦学习平台计
算过程中发生改变的计算特性生成; 基于管理单
元调度需求对当前资源调度策略进行检验; 在当
前资源调度策略满足管理单元调度需求的情况
下, 按照管 理单元调度需求和当前资源调度策略
进行管理单元与计算引擎的绑定, 并将绑定信息
返回联邦 学习平台。 本申请的方法实现了联邦学
习业务在生产环境下, 在进行样本对齐、 加解密、
梯度计算、 迭代计算等步骤时, 在业务保持连续
不中断的情况下, 对计算引擎资源进行动态调
整。
权利要求书3页 说明书8页 附图4页
CN 115525425 A
2022.12.27
CN 115525425 A
1.一种基于云原生技术的联邦学习计算引擎编排方法, 其特征在于, 所述计算引擎编
排方法应用于一种云原生平台, 所述计算引擎编排方法包括:
获取联邦学习平台的计算引擎控制器下发的管理单元调度需求, 其中, 所述管理单元
调度需求由所述联邦学习平台计算过程中发生改变的计算特性 生成;
基于所述管理单 元调度需求对当前资源调度策略进行检验;
在所述当前资源调度 策略满足所述管理单元调度需求的情况下, 按照所述管理单元调
度需求和所述当前资源调度策略进行管理单元与计算引擎的绑定, 并将绑定信息返回所述
联邦学习平台。
2.根据权利要求1所述的计算引擎编排方法, 其特 征在于,
所述计算引擎编排方法还 包括:
在所述当前资源调度 策略不满足所述管理单元调度需求的情况下, 基于所述管理单元
调度需求 生成资源评估请求;
按照所述资源评估请求以及所述当前资源调度策略, 生成扩展调度策略;
按照所述管理单元调度需求和所述扩展调度 策略进行管理单元与计算引擎的绑定, 并
将绑定信息返回所述联邦学习平台。
3.根据权利要求2所述的计算引擎编排方法, 其特 征在于,
所述按照所述资源评估请求以及所述当前资源调度策略, 生成扩展调度策略之后, 所
述计算引擎编排方法还 包括:
根据所述扩展调度策略检验所述云原生平台的当前资源是否符合调度条件;
若是, 则按照所述管理单元调度需求和所述扩展调度策略进行管理单元与计算引擎的
绑定;
若否, 则重新按照所述管理单 元调度需求 生成新的资源调度策略。
4.根据权利要求2所述的计算引擎编排方法, 其特 征在于,
所述按照所述管理单元调度需求和所述扩展调度策略进行管理单元与计算引擎的绑
定, 包括:
获取若干计算引擎组, 其中, 所述计算引擎组包括若干计算引擎;
基于所述管理单 元调度需求和所述扩展调度策略获取计算引擎 最小运行个数;
按照所述计算引擎 最小运行个数, 搜索对应的目标计算引擎组;
将所述目标计算引擎组的计算引擎和管理单 元进行绑定 。
5.根据权利要求2所述的计算引擎编排方法, 其特 征在于,
所述按照所述管理单元调度需求和所述当前资源调度策略进行管理单元与计算引擎
的绑定, 包括:
按照所述管理单元调度需求和所述当前资源调度策略选取一个管理单元与若干计算
引擎进行绑定;
在选择的管理单元的节点资源填满后, 选取另一个管理单元与其余计算引擎进行绑
定。
6.根据权利要求1 ‑5任一项所述的计算引擎编排方法, 其特 征在于,
所述按照所述管理单元调度需求和所述当前资源调度策略进行管理单元与计算引擎
的绑定之前, 所述计算引擎编排方法包括:权 利 要 求 书 1/3 页
2
CN 115525425 A
2按照所述管理单元调度需求和所述当前资源调度策略从所述联邦学习平台拉取计算
引擎的镜像。
7.一种基于云原生技术的联邦学习计算引擎编排方法, 其特征在于, 所述计算引擎编
排方法应用于一种云原生平台, 所述云原生平台至少 包括API服务器、 资源调度器; 所述计
算引擎编排方法包括:
所述API服务器获取联邦学习平台的计算引擎控制器下发的管理单元调度需求, 其中,
所述管理单 元调度需求由所述联邦学习平台计算过程中发生改变的计算特性 生成;
所述API服务器基于所述管理单 元调度需求请求所述资源调度器;
所述资源调度器在所述当前资源调度 策略满足所述管理单元调度需求的情况下, 按照
所述管理单元调 度需求和所述当前资源调 度策略进行管理单元与计算引擎的绑定, 并将绑
定信息返回所述联邦学习平台。
8.根据权利要求7所述的联邦学习计算引擎编 排方法, 其特征在于, 所述云原生平台还
包括调度器扩展模块;
所述联邦学习计算引擎编排方法还 包括:
所述资源调度器在所述当前资源调度 策略不满足所述管理单元调度需求的情况下, 基
于所述管理单 元调度需求 生成资源评估请求;
所述资源调度器将所述资源评估请求发送给 所述调度器扩展模块;
所述调度器扩展模块按照所述资源评估请求以及所述当前资源调度策略, 生成扩展调
度策略;
所述资源调度器按照所述管理单元调度需求和所述扩展调度策略进行管理单元与计
算引擎的绑定, 并将绑定信息返回所述联邦学习平台。
9.根据权利要求7所述的联邦学习计算引擎编 排方法, 其特征在于, 所述云原生平台还
包括镜像制作模块;
所述按照所述管理单元调度需求和所述当前资源调度策略进行管理单元与计算引擎
的绑定, 包括:
所述镜像制作模块按照所述管理单元调度需求和所述当前资源调度策略从所述联邦
学习平台拉取计算引擎的镜像;
所述资源调度器将拉取的计算引擎镜像与所述管理单 元进行绑定 。
10.一种基于云原生技术的联邦学习计算引擎编 排方法, 其特征在于, 所述计算引擎编
排方法应用于联邦学习 系统, 包括云原生平台和联邦学习平台;
所述联邦学习计算引擎编排方法包括:
所述联邦学习平台向所述云原生平台下发管理单元调度需求, 其中, 所述管理单元调
度需求由所述联邦学习平台计算过程中发生改变的计算特性 生成;
所述云原生平台基于所述管理单 元调度需求对当前资源调度策略进行检验;
在所述当前资源调度 策略满足所述管理单元调度需求的情况下, 所述云原生平台按照
所述管理单元调 度需求和所述当前资源调 度策略进行管理单元与计算引擎的绑定, 并将绑
定信息返回所述联邦学习平台。
11.一种电子设备, 其特 征在于, 包括:
存储器, 存储有计算机可读指令;权 利 要 求 书 2/3 页
3
CN 115525425 A
3
专利 基于云原生技术的联邦学习计算引擎编排方法及其设备
文档预览
中文文档
16 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 02:13:53上传分享