(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210794854.6 (22)申请日 2022.07.05 (71)申请人 小米汽车 科技有限公司 地址 100176 北京市北京经济技 术开发区 科创十街15号院5号楼6层618室 (72)发明人 刘国明　 (74)专利代理 机构 北京法胜知识产权代理有限 公司 11922 专利代理师 石茵汀 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) G06T 1/20(2006.01) (54)发明名称 运行监测方法、 装置、 电子设备和存 储介质 (57)摘要 本申请公开了一种运行监测方法、 装置、 电 子设备和存储介质， 涉及计算机技术领域。 具体 实现方案为： 通过监测单位时间内至少一个任务 输入到共享GPU的待处理数据量， 以得到至少一 个任务的实际吞吐量信息， 从而根据至少一个任 务的实际吞吐量信息， 预测至少一个任务对共享 GPU的利用率。 由此， 可实现在多个任务共享GPU 的情况下， 通过监测单位时间内各个任务输入到 共享GPU的待处理数据量来得到各个任务的实际 吞吐量， 从而可以根据各个任务的实际吞吐量来 预测每个任务对共享GPU的利用率， 解决相关技 术中在多个任务共享GPU的情况下只能得知多个 任务叠加的GPU实时利用率的问题。 权利要求书2页 说明书12页 附图3页 CN 115145730 A 2022.10.04 CN 115145730 A 1.一种运行监测方法， 其特 征在于， 包括： 监测单位时间内至少一个任务输入到共享GPU的待处理数据量， 以得到所述至少一个 任务的实际吞吐量信息； 根据所述至少一个任务的实际吞吐量信息， 预测所述至少一个任务对所述共享GPU的 利用率。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述至少一个任务的实际吞吐量 信息， 预测所述至少一个任务对所述共享GPU的利用率， 包括： 针对所述至少一个任务中的目标任务， 将所述目标任务的实 际吞吐量信息， 输入到第 一预测模型中， 以根据所述第一预测模 型的输出， 确定所述目标任务对 所述共享GPU的利用 率。 3.根据权利要求2所述的方法， 其特征在于， 所述第 一预测模型是采用第 一训练样本训 练得到； 其中， 所述第一训练样本包括多个样本吞吐量， 并采用各所述样本吞吐量对应的样本 利用率进行 标注； 所述多个样本吞吐量， 是单个任务在非共享GPU上运行时， 所述单个任务所采用的多个 吞吐量； 所述多个样本吞吐量对应的样本利用率， 是所述单个任务采用所述多个样本吞吐量将 待处理数据输入所述非共享GPU 进行处理时， 所述非共享GPU的利用率。 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述至少一个任务的实际吞吐量 信息， 预测所述至少一个任务对所述共享GPU的利用率， 包括： 针对所述至少一个任务中的目标任务， 将所述目标任务的任务标识和所述目标任务的 实际吞吐量信息， 输入到第二预测模型中， 以根据所述第二预测模型的输出， 确定所述目标 任务对所述共享GPU的利用率。 5.根据权利要求4所述的方法， 其特征在于， 所述第 二预测模型是采用第 二训练样本训 练得到； 其中， 所述第二训练样本包括样本吞吐量和任务标识 的组合， 并采用所述组合对应的 样本利用率进行 标注； 所述组合中的样本吞吐量， 是单个任务在非共享GPU上运行时， 所述单个任务采用的多 个吞吐量； 所述组合中的任务标识， 是 所述单个任务的任务标识； 所述组合对应的样本利用率， 是所述单个任务采用所述组合中的样本吞吐量将待处理 数据输入所述非共享GPU 进行处理时， 所述非共享GPU的利用率。 6.根据权利要求 4或5所述的方法， 其特 征在于， 所述任务标识， 用于指示任务类型。 7.一种运行监测装置， 其特 征在于， 包括： 监测模块， 用于监测单位时间内至少一个任务输入到共享GPU的待处理数据量， 以得到 所述至少一个任务的实际吞吐量信息； 预测模块， 用于根据所述至少一个任务的实 际吞吐量信息， 预测所述至少一个任务对 所述共享GPU的利用率。 8.根据权利要求7 所述的装置， 其特 征在于， 所述预测模块， 还用于：权　利　要　求　书 1/2 页 2 CN 115145730 A 2针对所述至少一个任务中的目标任务， 将所述目标任务的实 际吞吐量信息， 输入到第 一预测模型中， 以根据所述第一预测模 型的输出， 确定所述目标任务对 所述共享GPU的利用 率。 9.根据权利要求8所述的装置， 其特征在于， 所述第 一预测模型是采用第 一训练样本训 练得到； 其中， 所述第一训练样本包括多个样本吞吐量， 并采用各所述样本吞吐量对应的样本 利用率进行 标注； 所述多个样本吞吐量， 是单个任务在非共享GPU上运行时， 所述单个任务所采用的多个 吞吐量； 所述多个样本吞吐量对应的样本利用率， 是所述单个任务采用所述多个样本吞吐量将 待处理数据输入所述非共享GPU 进行处理时， 所述非共享GPU的利用率。 10.根据权利要求7 所述的装置， 其特 征在于， 所述预测模块， 还用于： 针对所述至少一个任务中的目标任务， 将所述目标任务的任务标识和所述目标任务的 实际吞吐量信息， 输入到第二预测模型中， 以根据所述第二预测模型的输出， 确定所述目标 任务对所述共享GPU的利用率。 11.根据权利要求10所述的装置， 其特征在于， 所述第 二预测模型是采用第 二训练样本 训练得到； 其中， 所述第二训练样本包括样本吞吐量和任务标识 的组合， 并采用所述组合对应的 样本利用率进行 标注； 所述组合中的样本吞吐量， 是单个任务在非共享GPU上运行时， 所述单个任务采用的多 个吞吐量； 所述组合中的任务标识， 是 所述单个任务的任务标识； 所述组合对应的样本利用率， 是所述单个任务采用所述组合中的样本吞吐量将待处理 数据输入所述非共享GPU 进行处理时， 所述非共享GPU的利用率。 12.根据权利要求10或1 1所述的装置， 其特 征在于， 所述任务标识， 用于指示任务类型。 13.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑6中任一项所述的方法。 14.一种存储有计算机指令的非瞬时计算机可读存储介质， 其特征在于， 所述计算机指 令用于使所述计算机执 行权利要求1 ‑6中任一项所述的方法。 15.一种计算机程序产品， 其特征在于， 包括计算机程序， 所述计算机程序在被处理器 执行时实现权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115145730 A 3