(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211243769.7 (22)申请日 2022.10.12 (71)申请人 中瓴智行 （成 都） 科技有限公司 地址 610000 四川省成 都市高新区天府五 街200号5号楼 A区8层802-2室 (72)发明人 不公告发明人 　 (74)专利代理 机构 成都创新引擎知识产权代理 有限公司 51249 专利代理师 李燕 (51)Int.Cl. G06F 9/50(2006.01) G06T 1/20(2006.01) (54)发明名称 基于Hypervisor的GPU虚拟化方法、 装置及 电子设备 (57)摘要 本公开涉及一种基于Hypervi sor的GPU虚拟 化方法、 装置及电子设备， 所述方法包括接收多 个虚拟机向GPU控制模块发起的访问请求； 计算 所述多个虚拟机的配额比值差； 选择配额比值差 最大的访问请求进行授权， 以使所述配额比值差 最大的访问请求优先被所述GPU执行。 上述方案 用于解决现有 技术中存在的GP U虚拟化技术存在 效率低、 占用CPU时间、 无法拓展等问题。 该方案 能灵活地对虚拟机数量， GPU优先级等资源进行 配置， 灵活性较强， 除了和Hyperv isor的GPU控制 模块交互， 没有 额外的CP U开销， CPU利用率较高， 可以接近物理GPU的性能。 权利要求书1页 说明书6页 附图5页 CN 115328665 A 2022.11.11 CN 115328665 A 1.一种基于 Hypervisor的GPU虚拟化方法， 其特 征在于， 所述方法包括： 计算给每 个虚拟机的预定配额比值； 接收多个虚拟机向GPU控制模块发起的访问请求； 计算每个虚拟机当前的配额比值， 选择配额比值差最大的访 问请求进行授权， 以使所 述配额比值差最大的访问请求优先被所述GPU执 行。 2.如权利要求1所述的方法， 其特征在于， 选择配额比值差最大的访 问请求进行授权， 以使所述配额比值差最大的访问请求优先被所述GPU执 行， 包括： 通知提交所述配额比值差最大的访问请求的目标虚拟机， 由所述目标虚拟机访问所述 GPU， 以使所述配额比值差最大的访问请求优先被所述GPU执 行。 3.如权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 所述GPU控制模块 监测所述目标虚拟机访问所述GPU完成后的通知； 若在预设时长内， 未监测到所述通知， 则确定所述目标虚拟机超时使用所述GPU； 并在 确定所述目标虚拟机超时后， 对所述目标虚拟机进行清理， 对所述GPU复位。 4.如权利要求1所述的方法， 其特征在于， 选择配额比值差最大的访 问请求进行授权， 以使所述配额比值差最大的访问请求优先被所述GPU执 行， 包括： 基于封装在所述配额比值差最大的访 问请求中的访 问操作， 由所述GPU控制模块访问 所述GPU， 以使所述配额比值差最大的访问请求优先被所述GPU执 行。 5.如权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 所述GPU控制模块向所述配额比值差最大的访问请求对应的目标虚拟机发送访问结 果； 或 所述配额比值差最大的访问请求对应的目标虚拟机在被授权后自行访问所述GPU获取 访问结果。 6.如权利要求1所述的方法， 其特征在于， 所述多个虚拟机发起的访问请求的配额及其 比值根据预设 的虚拟机GPU优先级、 预设 的虚拟机GPU 时间片和虚拟机的GPU任务执行时间 中的一种或多种计算得到 。 7.如权利要求1所述的方法， 其特征在于， 所述虚拟机发起的访问请求包括提交GPU任 务、 映射GPU内存、 访问GPU状态、 设置GPU状态中的一种或多种。 8.如权利要求1 ‑7中任一项所述的方法， 其特征在于， 所述方法通过GPU驱动程序中最 靠近硬件层面的程序实现。 9.一种基于 Hypervisor的GPU虚拟化装置， 其特 征在于， 包括： 接收模块， 用于 接收多个虚拟机向GPU控制模块发起的访问请求； GPU控制模块， 用于计算所述多个虚拟机的配额比值差； 并选择配额比值差最大的访问 请求进行授权， 以使所述配额比值差最大的访问请求优先被所述GPU执 行。 10.一种电子设备， 其特 征在于， 包括： 存储器， 其上存 储有计算机程序； 处理器， 用于执行所述存储器 中的所述计算机程序， 以实现权利要求1 ‑8中任一项所述 方法的步骤。权　利　要　求　书 1/1 页 2 CN 115328665 A 2基于Hypervisor的GPU虚拟化方 法、 装置及电子 设备 技术领域 [0001]本公开涉及信息处理领域， 具体地， 涉及一种基于Hypervisor的GPU虚拟化方法、 装置及电子设备。 背景技术 [0002]GPU （graphic s processing  unit， 图形 处理器)， 又称显示核心、 视觉处理器、 显示 芯片， 是一种专门在个人电脑、 工作站、 游戏机和一些移动设备 （如平板电脑、 智能手机等） 上做图像和图形相关运算工作的微处理器。 GPU在UI （User  Interface， 用户界面） 显示和游 戏娱乐上发挥着不可替代的作用。 [0003]GPU的工作方式主要是由驱动层或者用户态将API （Application  Programming   Interface， 应用程序编程接口） 命令 （如： OPENGL， VULKAN等） 以及状态编码成硬件可以识别 的任务， 再提交到硬件进行 执行。 [0004]Hypervisor  (Virtual Machine Monitor， 虚拟机监视器)是一种运行其他操作系 统的虚拟化技术。 虚拟化技术可以将一块芯片虚拟化成多块芯片， 芯片上可以运行多个不 同的操作系统， 也被称之为虚拟机， 以满足不同的场景需要。 同时， 虚拟化技术又有着提高 芯片利用率， 降低成本的好处。 因此， 虚拟化技术在信息技术的多个领域 都发挥着至 关重要 的作用。 [0005]虽然虚拟化技术能带来上述诸多好处， 但是仅仅相同构架下的CPU和内存有着相 同的虚拟化技术实现， 对于不同的外设并没有一个统一的虚拟化技术标准。 外设虚拟化的 目的是为了让多个虚拟机都能使用同一个外部设备， 很多时候某些外设是不能被虚拟化 的， 这种外设只能被单独分配给某一个虚拟机， 使虚拟机对其独占。 [0006]由于GPU在各种场景中都能发挥作用， 因此也提出了一些GPU虚拟化技术， 使得多 个虚拟机都有 使用GPU计算的能力。 但是这些技 术或多或少都存在各种局限， 例如： API转发技术， 这种技术只有一个实体占有GPU访问权限， 其它虚拟机如果要使用 GPU， 会将每个API转发给占用GPU的实体， 让其代为访问GPU。 这种方法的缺点是每个API都 需要转发， 效率太低。 [0007]代理技术， 这种技术只有一个 实体占有GPU访问权限， 实现有virglrenderer等。 其 它虚拟机如果要访问GPU， 会对 所有API和相关状态进行编码， 然后统一传输给占用GPU的实 体， 该实体解码后恢复成API提交给GPU。 这种方法的优点是减少的转发的次数。 缺点是利用 CPU编解码API和状态， 占用CPU时间， 虚拟机GPU损耗较大。 [0008]GPU硬件虚拟 化， 某些厂商对 GPU硬件实现了硬件虚拟 化， 其在GPU硬件上设计了多 组资源。 每个虚拟机可以通过一组资源提交GPU任务。 硬件会自动对收到的GPU任务排序执 行或者直接给每组资源分配GPU时间片以便执行GPU任务。 这种方式避免了前面两种方式的 缺点， 但是资源组的划分以及优先级设定， 时间片划分等操作是厂商固定的， 无法拓展， 且 该方式需要硬件层面的功能支撑 。 [0009]可见， 现有的GPU虚拟化 技术存在效率低、 占用CPU时间、 无法拓展等问题。说　明　书 1/6 页 3 CN 115328665 A 3