ICS 33.050 CCS M 30 团体标 准 T/TAF 150—2023 移动互联网应用人工智能模型安全指南 Security guidelines for artificia l intelligence model used with application software 2023-02-08发布 2023-02-08实施 电信终端产业协会 发布 T/TAF 150—2023 I 目 次 前言 ................................ ................................ ................ II 1 范围 ................................ ................................ ............... 1 2 规范性引用文件 ................................ ................................ ..... 1 3 术语和定义 ................................ ................................ ......... 1 4 缩略语 ................................ ................................ ............. 2 5 AI模型威胁分析 ................................ ................................ ..... 2 6 AI模型安全指南 ................................ ................................ ..... 2 6.1 概述 ................................ ................................ ........... 2 6.2 AI模型训练算法安全 ................................ ............................. 2 6.3 AI模型下发和部署 ................................ ............................... 3 6.4 AI模型数据采集 ................................ ................................ . 3 6.5 AI模型推理和计算 ................................ ............................... 4 6.6 AI模型结果数据传输 ................................ ............................. 4 6.7 AI模型更新和退役 ................................ ............................... 5 6.8 AI模型运行环境和应用安全 ................................ ....................... 5 T/TAF 150—2023 II 前 言 本文件按照 GB/T 1.1 —2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件 的发布机构不承担识别专利的责任。 本文件由电信终端产业协会提出并归口。 本文件起草单位：蚂蚁科技集团股份有限公司、荣耀终端有限公司、中国信息通信研究院、郑州信 大捷安信息技术股份有限公司 。 本文件主要起草人：辛知、林冠辰、张璇、彭晋、顾婉玉、吴超、傅欣艺、孟昌华、王维强、罗广 文、韩业飞、李志超、张朋、赵晓娜、傅山、王嘉义、魏凡星、刘为华 。 T/TAF 150—2023 1 移动互联网应用人工智能模型安全指南 1 范围 本文件提出移动应用的人工智能模型的威胁分析、模型安全指南等。 本文件适用于移动应用的人工智能模型研发、设计、 测评、应用等活动。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用 文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单） 适用于本文件。 GB/T 41388 -2022 信息安全技术 可信执行环境 基本安全规范 GB/T 41867 -2022 信息技术 人工智能 术语 3 术语和定义 下列术语和定义适用于本文件。 3.1 人工智能 artificial intelligence 针对人类定义的给定目标，产生诸如内容、预测、推荐或决策等 输出的一类工程系统的相关机 制和应用的研究和开发。 [来源：GB/T 41867 -2022,3.1.2&3.1.8 ，有改写 ] 3.2 可信执行环境 trusted execution environment 移动智能终端上基于硬件级隔离及安全启动机制，为确保安全敏感应用相关数据和代码的机密 性、完整性、真实性和不可否认性目标构建的一种软件运行环境。 注：硬件级隔离是指基于硬件安全扩展机制，通过对计算资源的固定划分或动态共享，保证隔离资源不被富执行 环访问的一种安全机制。 [来源：GB/T 41388 -2022，3.3，有改写] 3.3 富执行环境 rich execution environment 移动智能终端上为应用程序提供基础功能和计算资源的一种软件软件环境。 注：富执行环境是相对可信执行环境独立存在的运行环境。 [来源：GB/T 41388 -2022，3.4，有改写 ] T/TAF 150—2023 2 3.4 可信应用 trusted application 运行在可信执行环境下的应用。 4 缩略语 下列缩略语适用于本文件。 AI ：人工智能（ Artificial Intelligence ） FGSM：快速梯度符号方法 （Fast Gradient Sign Metho d） OTA：空中下载技术（ Over-the-Air Technology ） PGD：投影梯度下降 （Projected Gradient Descent ） REE：富执行环境（ rich execution environment ） TA ：可信应用 （Trusted Application ） TEE：可信执行环境 trusted execution environment ZOO：零阶优化 （Zeroth Order Optimization ） 5 AI模型威胁分析 移动互联网应用 AI模型部署在移动智能终端上，其安 全威胁可以分为系统层面的安全威胁和模 型算法层面的安全威胁，具体描述如下： a) 系统层面的威胁主要是指 AI模型作为智能终端上的一种数据资产面临的安全威胁，这种威 胁通常通过攻击智能终端软硬件系统和应用造成的模型数据安全风险，包括模型窃取、模 型泄露、模型漏洞攻击、模型后门攻击等等； b) 模型算法层面的威胁主要是指通过攻击 AI模型算法，使模型输出和实际或者预期不一致的 安全风险，包括 数据噪声、数据投毒攻击、后门攻击、预处理攻击以及成员推理攻击、模 型提取攻击、对抗攻击等 。 从AI模型生命周期角度看， AI模型全生命周期包括模型数 据采集、模型训练、模型下发、模型 部署、模型推理和计算、模型退役等阶段。 模型训练阶段主要面临的安全威胁为模型算法层面的威 胁，模型下发、部署阶段主要面临系统层面的安全威胁，模型推理和计算阶段面临的安全威胁包括 系统和算法层面的威胁，模型退役阶段面临的威胁主要为系统层面的威胁。 6 AI模型安全指南 6.1 概述 AI模型整体技术架构如图 1所示。移动应用 AI模型安全包括模型训练、模型下发和部署、数据采 集、模型推理和计算、模型结果数据传输、模型更新和退役、模型系统和应用等过程或阶段的安全。 6.2 AI模型训练算法安全 6.2.1 AI模型算法处理的样本类型 AI模型算法 处理的样本类型 可能包括图像、音频、文本、序列和表格等。 T/TAF 150—2023 3 6.2.2 AI模型算法安全能力 AI模型算法安全能力能够防御训练阶段的 数据投毒攻击、后门攻击等攻击手段，以及模型推理 阶段的数据噪声、预处理攻击、成员推理攻击、模型提取攻击、对抗攻击、模型逆向攻击等攻击手 段。按照攻击防御的难易程度，从容易到难可分为防御黑盒攻击和防御白盒攻击，对应能力可防御 的攻击方式描述如下： a) 防御黑盒攻击，即限定查询次数和扰动大小和时间，在仅能获取模型决策或打分的条件下 进