(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210730980.5 (22)申请日 2022.06.24 (71)申请人 浪潮通信技 术有限公司 地址 266107 山东省青岛市城阳区丹山工 业园湘潭路2号 (72)发明人 孙浩　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 肖艳 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 9/445(2018.01) G06T 1/20(2006.01) (54)发明名称 共享GPU的资源调度方法及装置 (57)摘要 本发明提供一种共享GPU的资源调度方法及 装置， 所述方法包括： 将GPU添加到Kubernetes 中； 在Kubernetes中部署GPU扩展调度器， 基于 GPU扩展调度器获取GPU显存资源总量信息； 基于 Kubernetes中每个运行节点所需的GP U显存资源 和GPU显存资源总量信息， 通过GP U扩展调度器确 定GPU分配 结果； 确定Kubernetes中具有共 享GPU 需求的运行节点， 并确定GPU共享资源； 调用 Kubernetes， 在具有共享GPU需求的运行节点上 构建pod， 基于GPU分配结果， 在pod中下发GPU共 享资源。 本发 明通过零侵入式架构设计方法实现 GPU显存的共享调度， 提高GPU的资源利用率。 权利要求书2页 说明书8页 附图3页 CN 115129449 A 2022.09.30 CN 115129449 A 1.一种共享GPU的资源调度方法， 其特 征在于， 包括： 将图形处 理器GPU添加到Kubernetes集群中； 在所述Kubernetes集群中部署GPU扩展调度器， 并基于所述GPU扩展调度器， 获取GPU显 存资源总量信息； 获取Kubernetes集群中每个运行节点所需的GPU显存资源， 并基于所述每个运行节点 所需的GPU显存资源和所述GPU显存资源总量信息， 通过所述GPU扩展调度器确定 GPU分配结 果； 确定所述Kubernetes集群中具有共享GPU需求的运行节点， 并确定GPU共享资源； 调用所述Kubernetes集群， 在所述具有共享GPU需求的运行节点上构建容器组pod， 并 基于所述GPU分配结果， 在所述 容器组pod中下发所述GPU共享资源。 2.根据权利要求1所述的共享GPU的资源调度方法， 其特征在于， 在所述Kubernetes集 群中部署GPU扩展调度器， 包括： 在所述Kubernetes集群的原 始调度器上部署GPU共享调度插 件和GPU设备插 件。 3.根据权利 要求2所述的共享GPU的资源调度方法， 其特征在于， 基于所述GPU扩展调度 器， 获取GPU显存资源总量信息， 包括： 控制所述GPU设备插 件向kubelet组件上报GPU显存资源总量信息； 控制所述kubelet组件将所述GPU显存资源总量信息上报至集群接口服务器 Kubernetes  API Server； 向所述Kubernetes  API Server获取 所述GPU显存资源总量信息 。 4.根据权利要求2所述的共享GPU的资源调度方法， 其特征在于， 基于所述每个运行节 点所需的GPU显存资源和所述GPU显存资源总量信息， 通过所述GPU扩展调度器确定GPU分配 结果， 包括： 基于所述每个运行节点所需的GPU显存资源和所述GPU显存资源总量信息， 控制所述 GPU共享调度插 件对GPU进行条件过滤， 获取所述GPU分配结果。 5.根据权利要求3所述的共享GPU的资源调度方法， 其特征在于， 基于所述GPU分配结 果， 在所述 容器组pod中下发所述GPU共享资源， 包括： 基于所述GPU分配结果， 通过 所述GPU共享调度插 件绑定所述pod和GPU； 在确定所述Kubelet组件接收到所述pod和GPU的绑定事件的情况下， 控制所述Kubelet 组件在所述pod对应的运行节点上创建pod实体， 并在所述pod实体中下发所述GPU共享资 源。 6.根据权利要求1 ‑5任一项所述的共享GPU的资源调度方法， 其特征在于， 将图形处理 器GPU加入到Kubernetes集群中之前， 还 包括： 在所述GPU上安装Nvidia驱动和Nvidia ‑Docker2组件。 7.一种共享GPU的资源调度装置， 其特 征在于， 包括： 添加模块， 用于将图形处 理器GPU添加到Kubernetes集群中； 部署模块， 用于在所述Kubernetes集群中部署GPU扩展调度器， 并基于所述GPU扩展调 度器， 获取GPU显存资源总量信息； 第一确定模块， 用于获取Kubernetes集群中每个运行节点所需的GPU显存资源， 并基于 所述每个运行节点所需的GPU显存资源和所述GPU显存资源总 量信息， 通过所述GPU扩展调权　利　要　求　书 1/2 页 2 CN 115129449 A 2度器确定GPU分配结果； 第二确定模块， 用于确定所述Kubernetes集群中具有共享GPU需求的运行节点， 并确定 GPU共享资源； 调用模块， 用于调用所述Kubernetes集群， 在 所述具有共享GPU需求的运行节点上构 建 容器组pod， 并基于所述GPU分配结果， 在所述 容器组pod中下发所述GPU共享资源。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述共享GPU的资源调度方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述共享GPU的资源调度方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述共享GPU的资源调度方法。权　利　要　求　书 2/2 页 3 CN 115129449 A 3