ICS 35.240 L70/84 团 体 标 准 T/CESA 1036—2019 信息技术 人工智能 机器学习模型及系统 的质量要素和测试方法 Information technology - Artifici al intelligence -Quality elements and testing methods of machine learning model and system 2019 - 04 - 01发布 2019 - 04 - 01实施 中国电子工业标准化技术协会 发布 T/CESA 1036 —2019 I 目 次 前 言 ................................ ................................ .............. II 1 范围 ................................ ................................ ................ 1 2 规范性引用文件 ................................ ................................ ......1 3 术语和定义 ................................ ................................ .......... 1 4 缩略语 ................................ ................................ .............. 4 5 概述 ................................ ................................ ................ 5 6 质量要素 ................................ ................................ ............ 5 6.1 功能性 ................................ ................................ .......... 5 6.2 可靠性 ................................ ................................ .......... 6 6.3 效率 ................................ ................................ ............ 6 6.4 维护性 ................................ ................................ .......... 7 7 测试方法 ................................ ................................ ............ 7 7.1 标准数据集 ................................ ................................ ......7 7.2 功能性 ................................ ................................ ......... 10 7.3 可靠性 ................................ ................................ ......... 13 7.4 效率 ................................ ................................ ........... 16 7.5 维护性 ................................ ................................ ......... 16 附录A （资料性附录） ................................ ................................ .18 A.1机器学习模型及系统测试实例 ................................ ....................... 18 T/CESA 1036 —2019 II 前 言 本标准按照 GB/T 1.1－2009《标准化工作导则 第1部分：标准的结构和编写》给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发 布机构不承担识别这些专利的责任 。 本标准由中国电子技术标准化研究院提出并归口。 本标准起草单位：北京航空航天大学、中国电子技术标准化研究院、无锡市信息化协会、第四范式 （北京）技术有限公司、中国医学科学院生物医学工程研究所、北京深醒科技有限公司、中国航空综合 技术研究所、北京国华恒源科技开发有限公司、上海腾梭科技有限公司、浪潮软件集团有限公司、重庆 邮电大学、电子科技大学、北京邮电大学、 重庆中科云从科技有限公司、 深圳云天励飞技术有限公司、 南京行者易智能交通科技有限公司、海尔优家智能科技（北京）有限公司、南京中兴新 软件有限责任公 司、广州广电运通金融电子股份有限公司、中国电子科技集团公司第十四研究所、北京航天自动控制研 究所、合肥中科类脑智能技术有限公司、 北京京东尚科信息技术有限公司、 华夏芯(北京)通用处理器技 术有限公司、威麟信息技术开发（上海）有限公司、玉养信息科技（上海）有限公司、中国电信集团有 限公司、上海交通大学苏州人工智能研究院、苏州思必驰信息科技有限公司、浙江大华技术股份有限公 司。 本标准主要起草人：刘祥龙、吴文峻、代红、董建、张群、王燕妮、马珊珊、汪小娟、王挺、郭夏 玮、王嘉磊、肖羽、蒲江波、徐圣普、肖鑫、田永 会、王洁萍、王广、李静、张涛、胡亮、罗小勇、许 浩、吴艳、王功明、黄先芝、黄庆卿、张焱、罗光春、田玲、张栗粽、王枞、闫敏、李军、胡文泽、王 孝宇、程冰、孙雨新、林震亚、杜新凯、林冠辰、陈良旭、杨祎、孙晶明、王丽娜、徐颂、褚海涛、郑 歆慰、刘海峰、李文慧、 张振庭、刘军、翁家良、朱兆颖、杨震、李洁、俞凯、钱彦旻、程淼。 T/CESA 1036 —2019 1 信息技术 人工智能 机器学习模型及系统的质量要素和测试方法 1 范围 本标准规定了机器学习模型及系统的质量要素， 提供了机器学习模型及系统的质量测试指标体系以 及相应的测试方法。 本标准适用于机器学习 模型及系统的设计、研发及质量评价，用户可根据具体的机器学习模型选择 合适的质量测试指标。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。 凡是注日期的引用文件， 仅注日期的版本适用于本文件。 凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 11457 信息技术 软件工程 术语 GB/T 16260.1-2006 软件工程 产品质量 第1部分：质量模型 GB/T 29831.1 系统与软件功能性 第1部分：指标体系 GB/T 29831.2-2013 系统与软件功能性 第2部分：测试方法 GB/T 29831.3 系统与软件功能性 第3部分：测试方法 GB/T 29832.1 系统与软件可靠性 第1部分：指标体系 GB/T 29832.2 系统与软件可靠性 第2部分：测试方法 GB/T 29832.3 系统与软件可靠性 第3部分：测试方法 GB/T 29833.1 系统与软件可移植性 第1部分：指标体系 GB/T 29833.2 系统与软件可移植性 第2部分：测试方法 GB/T 29833.3 系统与软件可移植性 第3部分：测试方法 GB/T 29834.1 系统与软件维护性 第1部分：指标体系 GB/T 29834.2 系统与软件维护性 第2部分：测试方法 GB/T 29834.3 系统与软件维护性 第3部分：测试方法 GB/T 29835.1 系统与软件效率 第1部分：指标体系 GB/T 29835.2 系统与软件效率 第2部分：测试方法 GB/T 29835.3 系统与软件效率 第3部分：测试方法 GB/T 29836.1 系统与软件易用性 第1部分：指标体系 GB/T 29836.2 系统与软件易用性 第2部分：测试方法 GB/T 29836.3 系统与软件易用性 第3部分：测试方法 GB/T 32904-2016 软件质量量化评价规范 3 术语和定义 GB/T 11457和GB/T 16260.1-2006界定的以及下列术语和定义适用于本文件。 T/CESA 1036 —2019 2 3.1 机器学