人工智能安全标准化白皮书 m o （2019版） c . 5 b u h t i g 全国信息安全标准化技术委员会 大数据安全标准特别工作组 2019年10月 人工智能安全标准化白皮书 （2019版） b u c . 5 h t i g 全国信息安全标准化技术委员会 大数据安全标准特别工作组 2019年10月 m o 人工智能安全标准化白皮书（2019版） 前 言 习近平总书记在十九届中央政治局第九次集体学习时明确指出，要加强人 工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能 安全、可靠、可控。人工智能（Artificial Intelligence，简称AI）经过60多年的演 进，已发展成为研究和开发用于模拟、延伸和扩展人类智能的学科。近年来，在 算法、算力和数据三大因素的共同驱动下，人工智能进入加速发展的新阶段， m o 成为经济发展的领头雁和社会发展的加速器。目前世界主要国家均把人工智能 作为国家发展战略。2017年我国发布《新一代人工智能发展规划》，将发展新 c . 5 一代人工智能上升至国家战略高度。随着人工智能在相关行业和人民社会生活 中的深度融合应用，由此带来的国家安全、社会伦理、网络安全、人身安全和隐 b u 私保护多个层面的风险和挑战，也引起了社会的广泛关注。 人工智能安全标准化是人工智能产业发展的重要组成部分，在激发健康良 h t i g 性的人工智能应用、推动人工智能产业有序健康发展方面发挥着基础性、规范 性、引领性作用。 《新一代人工智能发展规划》中明确提出了“要加强人工智能 标准框架体系研究，逐步建立并完善人工智能基础共性、互联互通、行业应用、 网络安全、隐私保护等技术标准”，切实加强人工智能安全标准化工作，是保障 人工智能安全的必由之路。 为推动人工智能技术健康、快速、安全、有序的发展和推广应用，全国信息 安全标准化技术委员会（以下简称“全国信安标委”）下设的大数据安全标准特 别工作组启动了《人工智能安全标准化白皮书》编制工作，本白皮书主要围绕人 工智能本身的安全，详细分析人工智能发展现状，面临的主要安全威胁和风险 挑战，梳理总结国内外人工智能安全法规政策和标准化组织标准化工作进展。 在此基础上，对人工智能安全标准化需求进行深入辨析，提出人工智能安全标 准框架和标准化工作建议。 i 人工智能安全标准化白皮书（2019版） 人工智能安全标准化白皮书（2019版） 编写单位 中国电子技术标准化研究院 清华大学 北京百度网讯科技有限公司 华为技术有限公司 三六零科技集团有限公司 阿里巴巴（中国）有限公司 中国移动通信集团有限公司 中国人民大学 浙江蚂蚁小微金融服务集团股份有限公司 国际商业机器(中国)有限公司 北京天融信网络安全技术有限公司 联想（北京）有限公司 上海依图网络科技有限公司 深信服科技股份有限公司 深圳市腾讯计算机系统有限公司 北京三快在线科技有限公司（美团点评） 奇安信科技集团股份有限公司 陕西省网络与信息安全测评中心 北京猎户星空科技有限公司 中国科学院大学自动化研究所 四川大学 内蒙古自治区大数据发展管理局 维沃移动通信有限公司 北京大学 北京神州绿盟信息安全科技股份有限公司 阿里云计算有限公司 上海观安信息技术股份有限公司 OPPO广东移动通信有限公司 中国平安保险（集团）股份有限公司 b u c . 5 h t i g ii m o 人工智能安全标准化白皮书（2019版） 人工智能安全标准化白皮书（2019版） 编写人员 杨建军  张  屹  张  峰  陈兴蜀  全  鑫  刘  行  白晓媛  张大江  王艳辉  刘笑岑  杨  帆  刘贤刚  李  实  落红卫  叶晓俊  苏永梓  严敏瑞  杜杨洲  江为强  赵晓娜  李  祎  李青山  王建民  郭  锐  徐飞玉  金  涛  吴子建  刘建鑫  周  俊  常  玲  包沉浮  雷晓锋  夏玉明  胡  影  朱红儒  谢安明  刘伯仲  魏玉峰  何  源  李汝鑫  彭骏涛  赵新强  于惊涛  韩  方  张宇光  苏  航  刘  焱 王小璞  程海旭  上官晓丽 吴月升  王  龑  赵春昊 武  杨  罗治兵  赫  然 郑新华  谢  江  贾  科 于  乐  朱  军  李  依 王海棠  曹晓琦  鲍旭华 宁  阳  付荣华  王江胜 公  静  马  杰  孙  卫 卞松山  张红卫  黄汉川 蔡  伟 m o c . 5 b u h t i g 版权声明：如需转载或引用，请注明出处。 iii 人工智能安全标准化白皮书（2019版） 目录 CONTENTS 一、人工智能概述…………………………………………………………… 1 1.1 人工智能迎来第三次发展浪潮… ………………………………… 1 1.2 人工智能技术与应用进展显著… ………………………………… 2 1.3 人工智能产业链初具规模… ……………………………………… 4 1.4 我国人工智能应用场景广阔… …………………………………… 6 1.5 人工智能总体发展水平仍处于起步阶段… ……………………… 7 m o c . 5 二、人工智能安全法规政策和标准化现状………………………………… 9 2.1 人工智能安全法律法规和政策… ………………………………… 9 b u 2.1.1 国际国外情况… ……………………………………………… 9 2.1.2 国内情况… …………………………………………………… 15 h t i g 2.2 主要标准化组织人工智能安全工作情况… ……………………… 17 2.2.1 ISO/IEC JTC1………………………………………………… 17 2.2.2 ITU-T… ……………………………………………………… 18 2.2.3 IEEE…………………………………………………………… 18 2.2.4 NIST…………………………………………………………… 21 2.2.5 TC260… ……………………………………………………… 22 2.2.6 其他标准化组织… …………………………………………… 25 2.3 人工智能伦理道德工作情况… …………………………………… 26 三、人工智能安全风险分析与内涵………………………………………… 29 3.1 新的攻击威胁… …………………………………………………… 29 3.2 人工智能安全隐患… ……………………………………………… 31 3.2.1 算法模型安全隐患… ………………………………………… 31 3.2.2 数据安全与隐私保护隐患… ………………………………… 33 iv 人工智能安全标准化白皮书（2019版） 目录 CONTENTS 3.2.3 基础设施安全隐患… ………………………………………… 36 3.2.4 应用安全隐患… ……………………………………………… 37 3.2.5 人工智能滥用… ……………………………………………… 38 3.3 安全影响… ………………………………………………………… 39 3.4 人工智能安全属性和内涵… ……………………………………… 41 m o c . 5 四、人工智能安全标准体系………………………………………………… 44 4.1 人工智能安全标准化需求分析… ………………………………… 44 4.2 人工智能安全标准与其他领域标准的关系… …………………… 46 4.3 人工智能安全标准体系… ………………………………………… 46 b u 4.3.1 人工智能基础性安全标准… ………………………………… 47 4.3.2 人工智能数据、算法和模型安全标准… …………………… 48 4.3.3 人工智能技术和系统安全标准… …………………………… 48 4.3.4 人工智能管理和服务安全标准… …………………………… 49 4.3.5 人工智能测试评估安全标准… ……………………………… 50 4.3.6 人工智能产品和应用安全标准… …………………………… 50 h t i g 五、人工智能安全标准化工作建议………………………………………… 51 附录A 人工智能相关安全标准………………………………………………… 55 A.1 TC260人工智能安全标准研究项目… …………………………… 55 A.2 TC260人工智能安全相关标准… ………………………………… 56 A.3 ISO/IEC JTC1/SC42人工智能安全相关的标准…………………… 57 附录B 人工智能应用安全实践案例（排名不分先后）…………………… 58 B.1 百度人工智能安全实践… ………………………………………… 58 B.2 猎户星空人工智能安全实践… …………………………………… 61 v 人工智能安全标准化白皮书（2019版） 目录 CONTENTS B.3 清华大学人工智能安全实践… …………………………………… 63 B.4 依图人工智能安全应用实践… …………………………………… 66 B.5 IBM人工智能安全实践… ………………………………………… 69 B.6 深信服人工智能安全实践… ……………………………………… 72 B.7 360 人工智能安全实践… ………………………………………… 75 B.8 阿里巴巴人工智能安全实践… …………………………………… 78 B.9 华为人工智能安全实践… ………………………………………… 82 m o c . 5 参考文献 … …………………………………………………………………… 85 b u h t i g vi 人工智能安全标准化白皮书（2019版） 一、人工智能概述 人工智能，是利用数字计算机或者数字计算机控制的机器模拟、延伸 和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、 方法、技术及应用系统[1]。人工智能相关技术的研究目的是促使智能机器 m o 会听（如语音识别、机器翻译等）、会看（如图像识别、文字识别等）、 会说（如语音合成、人