ICS 31.200 L56 YD/T 中华人民共和国通信行业标准 YD/Txx××xxx× 人工智能芯片基准测试评估方法 Evaluation method for artificial intelligence chip benchmark (报批稿） 行业标准信息服务平 ××××-××-××发布 ××××-××-××实施 中华人民共和国工业和信息化部发布 XX/T xXXX-XXXX 目次 前 引 人工智能芯片基准测试评估方法 1 范围. 2规范性引用文件 3术语、定义和缩略语 3.1术语和定义 3.2缩略语. 4基准测试方案概述 4.1基准测试框架. 4.2评测对象. 4.3基准测试的评测原则 4.4基准设置的主要方案. 5测试场景 5.1图像分类， 5.2目标检测 5.3超分辨率 5.4图像语义分割 5.5人脸识别 5.6机器翻译， 6评估方法. 6.1评估方法概述 6.2测试环境 7人工智能芯片训练任务基准测试度量指标及评估方法 7.1度量指标 7.2基准测试说明. 7.3参考实现 7.4测试方法. 8人工智能芯片推理任务基准测试度量指标及评估方法 8.1度量指标， 8.2基准测试说明. 8.3参考实现 8.4测试方法 .10 II YD/TXXXX—XXXX 前言 本文件按照GB/T1.1-2020给出的规则起草。 本标准由中国通信标准化协会提出并归口。 请注意本标准的某些内容可能涉及专利。本标准的发布机构不承担识别这些专利的责任。 本标准起草单位：中国信息通信研究院、南京新一代人工智能研究院、西安交通大学人工智能与机器人 研究所、华为技术有限公司、深圳市腾讯计算机系统有限公司、阿里云计算有限公司、深圳鲲云信息科技有 限公司、清华大学、安谋科技（中国)有限公司、中科寒武纪科技股份有限公司、赛灵思电子科技（北京）有 限公司、英特尔（中国）有限公司、颖脉信息技术（上海）有限公司、上海海思技术有限公司、北京百度网 讯科技有限公司、上海隧原科技有限公司、北京地平线机器人技术研发有限公司 本标准主要起草人：张蔚敏、刘硕、张哲煜、孙明俊、任鹏举、关贺、于潇宇、张龙、游亮、潘逢治、 刘建航、杜子东、汪玉、葛广君、叶挺群、沈林杰、牛昕宇、郑魁、张亚军、高剑林、章恒、方绍峡、王凯、 李亿、徐剑威、石恒、罗航、曾洪博、程智锋。 行业标准信息服务平台 YD/TXXXX—XXXX 引言 基准测试作为一种客观的评价方式，在计算机体系架构的发展中扮演着重要的角色，有效地推动着 面向不同方向的硬件和软件设计的演进。 专用的AI加速芯片或其它一些拥有强大计算能力的IP应用越发广泛，成为人工智能时代不可或缺 的一环，因此迫切需要一套方法能够横向对比这些AI加速芯片或整个AI解决方案的优劣。并且，基 于清晰指标体系的技术评测能够去伪存真，推动相关产业健康发展。人工智能芯片基准测试越来越受到 业界的关注，但目前国际上还没有成熟的相关技术规范和标准。人工智能芯片基准测试体系与方法的建 立，能够明确评测指标，客观反映当前AI加速器能力现状，并从技术层面进行客观比对。为芯片企业 提供第三方评测结果的同时，也为应用企业提供选型参考。 本标准通过制定通用方法来衡量用于训练或推理任务的人工智能软硬件的最佳性能。因相关人工智 能芯片技术正在快速发展，本文件仅作为评估参考。随着技术的发展，还将制定后续的相关规范。 行业标准信息服务平台