(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211320824.8 (22)申请日 2022.10.26 (71)申请人 中国电子技 术标准化研究院 地址 100007 北京市东城区安定门东大街1 号 (72)发明人 董建　鲍薇　徐洋　杨雨泽　 刘祥龙　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 申星宇 (51)Int.Cl. G06F 15/78(2006.01) G06N 3/04(2006.01) (54)发明名称 一种异构计算设备计算能力测算的方法 (57)摘要 本发明提供了一种异构计算设备计算能力 测算的方法， 适用于不同款 芯片、 相同款 芯片、 多 芯片之间的精度测算； 针对于不同芯片的标称值 相同， 但实际计算能力也不等同的问题， 提出芯 片标称算力的测算方法， y＝f(x)， 提高了计算的 准确率； 本发 明的异构计算设备计算能力测算的 方法算法简单， 可应用于同一款芯片、 不同款芯 片、 多芯片多种模式， 应用性 好。 权利要求书1页 说明书8页 附图1页 CN 115543911 A 2022.12.30 CN 115543911 A 1.一种异构计算设备计算能力测算的方法， 其特 征在于， 包括如下步骤， 步骤1、 选取各类典型场景的深度学习模型集合S， 芯片集合N， 对于各类芯片统计时长 和操作数； 步骤2、 选取表中的两列， 针对推理所 得数据， 基于S， 在坐标系中绘制 相应的点； 步骤3、 根据步骤2所得结果， 获得同一芯片不同精度间、 不同芯片相同精度间计算能力 的测算比例集 合， 总结出相应规 律。 2.如权利要求1所述异构计算设备计算能力测算的方法， 其特 征在于， 所述 步骤1中， 所述对于过程中计算量的统计， 应包含前向过程(模型计算量)和后向过程(参数更新 计算量)。 3.如权利要求1所述异构计算设备计算能力测算的方法， 其特 征在于， 所述 步骤1中， 所述各类芯片包括 不同款芯片、 相同款芯片、 多芯片。 4.如权利要求3所述异构计算设备计算能力测算的方法， 其特 征在于， 所述 步骤1中， 所述对于相同款芯片统计时长和 操作数为， 在同一芯片n∈N上， 对 在不同精度 下统计时长和操作数； 所述对于不同款芯片统计时长和操作数为， 在不同模型、 相同精度下统计时长和操作 数。 5.如权利要求3所述异构计算设备计算能力测算的方法， 其特 征在于， 所述 步骤1中， 所述多芯片包括不同款芯片、 相同款芯片， 并将模型数量增大到S*以上， 芯片款型增加 到N*以上。 6.如权利要求5所述异构计算设备计算能力测算的方法， 其特 征在于， 所述 步骤1中， 所述多芯片精度测量还 包括以下步骤， 步骤1‑1、 按芯片种类进行如下编码， 以获得全面的数据表， 对于 定义元组 n＝(t,id) 其中t为芯片种类， id为 款型； 步骤1‑2、 将元组n与表中的任意一列数据作为输入， 另外任一列作为输出， 构 建神经网 络； 所述神经网络可采用全连接或其他结构； 所述其他结构由NAS过程筛选而得； 所述神经 网络即可对新数据给 出准确预测。 7.如权利要求6所述异构计算设备计算能力测算的方法， 其特 征在于， 所述 步骤1‑1中， 所述芯片种类包括1 ‑GPU， 2‑NPU等； 所述规律为根据所得的结果绘图， 得到A、 B两种结果； 所述A结果为FLOPS@INT16与TOPS@INT8有稳定的测算关系； 所述A结果应取包络的质心 的斜率作为比例； 所述B结果 为无稳定的测算关系。 8.如权利要求6所述异构计算设备计算能力测算的方法， 其特 征在于， 所述 步骤1‑2中， 所述网络也可通过NAS寻找网络结构； 所述网络结构应能以不小于67％的精度， 将任意 款型、 任意精度的芯片的标称算力， 测算 为其他任意款型、 任意精度的芯片的标称算力。权　利　要　求　书 1/1 页 2 CN 115543911 A 2一种异构计算设 备计算能力测算的方 法 技术领域 [0001]本发明算力技 术领域， 尤其涉及一种异构计算设备计算能力测算的方法。 背景技术 [0002]标称算力是随附在人工智能计算设备出厂说明上的， 对计算设备每秒能够实施的 操作数的理论估算值； 计算设备含有多个 芯片时， 一般采用加和的方法， 累计所有参与人工 智能计算的芯片的每秒总操作数； [0003]一般的算力皆有精度作为辅助说 明， 常见的精度包含： FP32， FP16， INT8等； 对于浮 点运算， 使用FP32或FP16， 标称算力单位为FL OPS(记为如 256FLOPS@FP16)； 对于整形计算采 用INT8， 标称算力单位TOPS(记为如256TOPS@INT8)； 对于有多个不同精度下计算能力的芯 片或计算设备， 一般罗列算力(如XX计算设备支持128FL OPS@FP32， 256 FLOPS@FP16， 64TOPS@ INT8)； 计算精度的测算可以使用2倍率， 如1FLOPS@FP16＝2TOPS@INT8， 1FLOPS@FP32＝ 4TOPS@INT8， 但此法准确率 不高。 [0004]现有技术当中， 标称算力在芯片厂商内部 的估计方法是： 使用待测 芯片计算非全 零矩阵乘加， 统计完成乘加的次数， 再测算 成OPS； 而在实际业务当中， 不单是仅乘加这么单 一， 因而这种方法仍然不准； 同样的， 因为算子种类多， 有 些需要特别处理过程； 一般都会优 化乘加计算， 因为用量大； 下游厂商的实验 未做优化， 1000多种算子的行效率可能不与乘加 算子一致； [0005]即便不同芯片的标称值一样， 其微架构不同， 完成同一计算的效率不一致； 因而， 到目前为止， 找到芯片标称算力的测算方法， 是待解决的缺陷问题； [0006]因此， 本领域的技术人员致力于开发一种异构计算设备计算能力测算的方法， 以 解决上述现有技 术的不足。 发明内容 [0007]有鉴于现有技术的上述缺陷， 本发明的目的是提供一种异构计算设备计算能力测 算的方法， 找到芯片标称算力的测算方法； [0008]为实现上述目的， 本发明一种异构计算设备计算能力测算的方法， 本发明一种异 构计算设备计算能力测算的方法， 包括如下步骤， [0009]步骤1、 选取各类典型场景的深度学习模型集合S， 芯片集合N， 对于各类芯片统计 时长和操作数； [0010]步骤2、 选取表中的两列， 针对推理所 得数据， 基于S， 在坐标系中绘制 相应的点； [0011]步骤3、 根据步骤2所得结果， 获得同一芯片 不同精度间、 不同芯片相同精度间计算 能力的测算比例集 合， 总结出相应规 律； [0012]进一步地， 所述步骤1中， 所述对于过程中计算量的统计， 应包含前向过程(模型计 算量)和后向过程(参数 更新计算 量)； [0013]进一步地， 所述步骤1中， 所述各类芯片包括 不同款芯片、 相同款芯片、 多芯片；说　明　书 1/8 页 3 CN 115543911 A 3