(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211164060.8 (22)申请日 2022.09.23 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 张荣国　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 崔清杨 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06T 1/20(2006.01) G06N 20/00(2019.01) (54)发明名称 一种GPU共享方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种GPU共享方法、 装置、 设备 及介质， 涉及计算机技术领域， 包括： 获取服务创 建信息， 基于所述服务创建信息创建Pod， 并为所 述Pod添加环境变量信息； 基于所述服务创建消 息确定出GPU运行方式和GP U共享方式； 根据所述 GPU共享方式和所述 GPU运行方式确定 出目标GP U 节点， 将所述Pod中的所述环境变量信息发送至 所述目标GP U节点， 以便 所述目标GP U节点基于 所 述GPU运行方式对所述环境变量信息进行GPU共 享计算。 通过本申请上述的技术方案， 能够实现 将多个Pod调度到 同一个GPU上， 并且同一个GPU 上可以有多个Pod并行 执行， 提高GPU利用率。 权利要求书2页 说明书10页 附图3页 CN 115495215 A 2022.12.20 CN 115495215 A 1.一种GPU共享方法， 其特 征在于， 包括： 获取服务创建信息， 基于所述 服务创建信息创建Pod， 并为所述Pod添加环境变量信息； 基于所述 服务创建消息确定出GPU运行 方式和GPU共享方式； 根据所述GPU共享方式和所述GPU运行方式确定出目标GPU节点， 将所述Pod中的所述环 境变量信息发送至所述目标GPU节点， 以便所述目标GPU节点基于所述GPU运行方式对所述 环境变量信息进行GPU共享计算。 2.根据权利要求1所述的GPU共享方法， 其特 征在于， 所述获取服 务创建信息， 包括： 检测本地的服 务创建是否被 触发； 若本地的服 务创建被 触发， 则获取服 务创建信息 。 3.根据权利要求1所述的GPU共享方法， 其特征在于， 所述基于所述服务创建信息创建 Pod， 并为所述Pod添加环境变量信息， 包括： 基于所述 服务创建信息中的副本数量创建与所述副本数量相同的Pod； 基于所述 服务创建信息中的注解信息为所述Pod添加环境变量信息 。 4.根据权利要求3所述的GPU共享方法， 其特征在于， 所述基于所述服务创建消息确定 出GPU运行 方式和GPU共享方式， 包括： 基于所述服务创建消息中的所述注解信息确定出GPU运行方式； 其中， 所述GPU运行方 式包括并行运行模式和分时调度模式； 基于所述服务创建消息中的所述注解信息确定出GPU共享方式； 其中， 所述GPU共享方 式包括服务独占GPU和服 务共享GPU。 5.根据权利 要求4所述的GPU共享方法， 其特征在于， 所述根据所述GPU共享方式和所述 GPU运行方式确定出目标GPU节点， 包括： 若所述GPU运行方式为并行运行模式， 则判断所述注解信息中的GPU共享值与预先获取 的服务共享值是否相同， 若 所述注解信息中的GPU共享值与预先获取的服务共享值相同， 则 确定出所述GPU共享方式为服务独占GPU， 然后从所有的GPU节 点中筛选出GPU节 点标签值为 true， 并且所述GPU共享方式为 服务独占GPU的GPU节点作为目标GPU节点； 若所述GPU运行方式为分时调度模式， 则确定出所述GPU共享方式为服务共享GPU， 然后 从所有的GPU节点中筛选出标签值为false， 并且所述GPU共享方式为服务共享GPU的GPU节 点作为目标GPU节点。 6.根据权利要求1至5任一项所述的GPU共享方法， 其特征在于， 所述将所述Pod中的所 述环境变量信息发送至所述目标GPU节点， 以便所述目标GPU节点基于所述GPU运行方式对 所述环境变量信息进行GPU共享计算， 包括： 将所述Pod中的所述环境变量信息发送至所述目标GPU节点中的CUDA， 以便所述目标 GPU节点中的所述CUDA基于所述GPU运行 方式对所述环境变量信息进行GPU共享计算。 7.根据权利要求6所述的GPU共享方法， 其特征在于， 所述目标GPU节点中的所述CUDA基 于所述GPU运行 方式对所述环境变量信息进行GPU共享计算， 包括： 若所述GPU运行方式为并行运行模式， 则所述CUDA利用预设的计算函数和显存申请释 放函数对所述环境变量信息进行GPU共享计算； 若所述GPU运行方式为分时调度模式， 则所述CUDA从服务创建信息中确定出时间占比 信息， 并利用所述计算 函数对所述时间占比信息进行GPU共享计算。权　利　要　求　书 1/2 页 2 CN 115495215 A 28.一种GPU共享装置， 其特 征在于， 包括： Pod创建模块， 用于获取服务创建信息， 基于所述服务创建信息创建Pod， 并为所述Pod 添加环境变量信息； GPU运行方式确定模块， 用于基于所述服务创建消息确定出GPU运行方式和GPU共享方 式； GPU共享计算模块， 用于根据所述GPU共享方式和所述GPU运行方式确定出目标GPU节 点， 将所述Pod中的所述环 境变量信息发送至所述目标GPU节点， 以便所述目标GPU节 点基于 所述GPU运行 方式对所述环境变量信息进行GPU共享计算。 9.一种电子设备， 其特 征在于， 包括： 存储器， 用于保存计算机程序； 处理器， 用于执行所述计算机程序， 以实现如权利要求1至7任一项所述的GPU共享方 法。 10.一种计算机可读存储介质， 其特征在于， 用于保存计算机程序； 其中， 所述计算机程 序被处理器执行时实现如权利要求1至7任一项所述的GPU共享方法。权　利　要　求　书 2/2 页 3 CN 115495215 A 3