全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211430795.0 (22)申请日 2022.11.16 (71)申请人 浪潮电子信息产业股份有限公司 地址 250000 山东省济南市高新区浪潮路 1036号 (72)发明人 王丽 郭振华 赵雅倩 曹芳  高开  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 吴娟 (51)Int.Cl. G06F 17/11(2006.01) G06F 17/10(2006.01) G06F 9/50(2006.01) G06K 9/62(2022.01) (54)发明名称 一种模型训练能耗计算方法、 装置、 系统及 可读存储介质 (57)摘要 本申请涉及模 型训练技术领域, 公开了一种 模型训练能耗计算方法、 装置、 系统及可读存储 介质, 方法包括: 获取用于进行模型训练的服务 器中参与模 型训练的各类设备的个数, 并获取服 务器对应的碳电信息; 采集模型训练的过程中各 类设备的运行参数; 根据各类设备的个数、 各类 设备的运行参数及碳电信息, 计算模 型训练对应 的能耗数据。 本申请公开的技术方案, 通过获取 用于进行模型训练的服务器中参与模型训练的 各类设备的个数、 服务器对应的碳电信息, 采集 模型训练的过程中各类设备的运行参数, 根据各 类设备的个数、 各类设备的运行参数及碳电信 息, 实现快速、 有效地计算模型训练对应的能耗 数据, 以为模 型训练以及大规模计算产生的能耗 评估提供技 术参考。 权利要求书3页 说明书16页 附图5页 CN 115495702 A 2022.12.20 CN 115495702 A 1.一种模型训练能耗计算方法, 其特 征在于, 包括: 获取用于进行模型训练 的服务器中参与 所述模型训练的各类设备的个数, 并获取所述 服务器对应的碳电信息; 采集所述模型训练的过程中各类所述设备的运行参数; 根据各类所述设备的个数、 各类所述设备的运行参数及所述碳电信息, 计算所述模型 训练对应的能耗数据。 2.根据权利要求1所述的模型训练能耗计算方法, 其特征在于, 采集所述模型训练的过 程中各类所述设备的运行参数, 包括: 每隔预设时间间隔采集所述模型训练 的过程中各类所述设备的功率、 运行时长及 设备 线程占用率; 根据各类所述设备的个数、 各类所述设备的运行参数及所述碳电信息, 计算所述模型 训练对应的能耗数据, 包括: 计算各类所述设备的平均功率、 设备线程平均占用率; 根据各类所述设备的个数、 各类所述设备的平均功率、 各类所述设备的设备线程平均 占用率、 各类所述设备的运行时长及所述 碳电信息, 计算所述模型训练对应的能耗数据。 3.根据权利要求2所述的模型训练能耗计算方法, 其特征在于, 根据各类所述设备的个 数、 各类所述设备的平均 功率、 各类所述设备的设备线程平均占用率、 各类所述设备的运行 时长及所述 碳电信息, 计算所述模型训练对应的能耗数据, 包括: 利用 , 计算所述模型训练对应的 能耗开销 ; 利用 , 计算所述模型训练对应的 碳排放当量 ; 其中, 为第i类设备的个数, 为第i类设备的设备线程平均占用率, 为第i类设 备的平均 功率, 为第i类设备的运行时长, 为所述服务器对应的电源使用效率, 为所述服务器对应的碳强度, 为数据中心碳抵消系数。 4.根据权利要求2所述的模型训练能耗计算方法, 其特征在于, 当所述设备包括CPU和/ 或GPU时, 则每隔预设时间间隔采集所述模型训练的过程中各类所述设备的功 率、 运行时长 及设备线程占用率, 包括: 每隔预设时间间隔调用CPU和/或GPU对应第三方工具, 利用CPU和/或GPU对应的第三方 工具采集所述模型训练的过程中相应设备的功率、 运行时长及设备线程占用率。 5.根据权利要求1所述的模型训练能耗计算方法, 其特征在于, 获取所述服务器对应的 碳电信息, 包括: 在线获取 所述服务器的地理位置信息; 根据所述 服务器的地理位置信息获取 所述服务器对应的碳电信息 。 6.根据权利要求5所述的模型训练能耗计算方法, 其特征在于, 在线获取所述服务器的权 利 要 求 书 1/3 页 2 CN 115495702 A 2地理位置信息, 包括: 利用geojs  API通过获取 所述服务器的地理位置信息 。 7.根据权利要求1所述的模型训练能耗计算方法, 其特征在于, 获取所述服务器对应的 碳电信息, 包括: 预先将地理位置信息、 数据中心信息与碳电信息的映射关系存 储在本地; 获取所述服务器的地理位置信息, 或者, 获取所述服务器的地理位置信息及所述服务 器所在的数据中心的信息; 根据存储在本地的所述映射关系及所述服务器的地理位置信 息, 或者根据存储在本地 的所述映射关系、 所述服务器的地理位置信息及所述服务器所在的数据中心的信息, 获取 所述服务器对应的碳电信息 。 8.根据权利要求1所述的模型训练能耗计算方法, 其特 征在于, 还 包括: 获取各类所述设备的静态信息; 所述静态信息包括所述设备的名称、 型号、 额定功率、 额定计算 性能。 9.根据权利要求8所述的模型训练能耗计算方法, 其特 征在于, 还 包括: 获取所述模型训练对应的模型参数信息, 根据所述模型参数信息得到模型的总计算 量; 根据所述模型的总计算量及各类所述设备的额定计算性 能, 得到完成所述模型的总计 算量的预估时间; 根据各类所述设备的个数、 各类所述设备的额定功率、 各类所述设备的设备线程理论 占用率、 所述预估时间及所述 碳电信息, 计算所述模型训练的预测能耗数据。 10.根据权利要求9所述的模型训练能耗计算方法, 其特征在于, 根据各类所述设备的 个数、 各类所述设备的额定功 率、 各类所述设备的设备线程理论占用率、 所述预估时间及所 述碳电信息, 计算所述模型训练的预测能耗数据, 包括: 利用 , 计算所述模型训练对应的 预测能耗 开销 ; 利用 , 计算所述模型训练对应的 碳排放当量 ; 其中, 为第i类设备的个数, 为第i类设备的设备线程理论占用率, 为第i类 设备的额定功率, 为所述预估时间, 为所述服务器对应的电源使用效率, 为所述服务器对应的碳强度, 为数据中心碳抵消系数。 11.根据权利要求1所述的模型训练能耗计算方法, 其特 征在于, 还 包括: 获取所述服务器的操作系统版本、 pytho n版本及所述 服务器的内存大小。 12.根据权利要求1所述的模型训练能耗计算方法, 其特 征在于, 还 包括: 获取所述模型训练对应的进程 号、 所述服务器中参与所述模型训练的设备的设备号; 获取用于进行模型训练的服 务器中参与所述模型训练的各类设备的个数, 包括:权 利 要 求 书 2/3 页 3 CN 115495702 A 3

PDF文档 专利 一种模型训练能耗计算方法、装置、系统及可读存储介质

文档预览
中文文档 25 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共25页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种模型训练能耗计算方法、装置、系统及可读存储介质 第 1 页 专利 一种模型训练能耗计算方法、装置、系统及可读存储介质 第 2 页 专利 一种模型训练能耗计算方法、装置、系统及可读存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:58:05上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。