ICS35. 020 CCS L70 准 团 体 标 T/CCSA 574—2024 数据湖平台技术要求 Technical specification for data lake platform 2024 - 11 - 11 发布 2025－01－01实施 发布 中国通信标准化协会 版权声明 本技术文件的版权属于中国通信标准化协会，任何单 位和个人未经许可，不得进行技术文件的纸质和电子等任 何形式的复制、印刷、出版、翻译、传播、发行、合订和 宣贯等，也不得引用其具体内容编制本协会以外各类标准 和技术文件。如果有以 仞云联 邮箱：IPR@ 电话：62 CCSA T/CCSA 574—2024 次 目 前言 引言 III 范围 1 规范性引用文件 2 术语和定义 3 缩略语 4. 5 概述 6技术要求 6.1存储能力， 6.2计算能力 6.3安全能力. 6.4统一元数据管理 6.5 兼容性能 6. 6 运维能力 6. 7 高可用能力， CCSA T/CCSA 574—2024 前言 本文件按照GB/T1.1一2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定 起草， 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由中国通信标准化协会提出并归口。 本文件起草单位：中国信息通信研究院、腾讯云计算（北京）有限责任公司、阿里云计算有限公司、 星环信息科技（上海）股份有限公司、亚信科技（中国）有限公司、杭州海康威视数字技术股份有限公 司、华为技术有限公司、北京百度网讯科技有限公司、中国移动通信集团有限公司。 本文件主要起草人：刘彦美、魏凯、姜春宇、马鹏玮、田稼丰、王卓、李俊逸、林楠、董亚军、朱 松、陈爽、季君雷、赵一鸣、徐福生、赵丽丽、杨锐、崔宝宏、侯雁、顾昌晟、郑鸿健、郑展奋、施伟 坤、钟炳汉。 CCSA H T/CCSA 574—2024 言 为适应信息通信业发展对标准文件的需求，由中国通信标准化协会组织制定“中国通信标准化协会 团体标准”，推荐有关方面采用。有关对本标准的建议和意见，向中国通信标准化协会反映。 CCSA III T/CCSA 574—2024 数据湖平台技术要求 1范围 本文件规定了数据湖平台的技术要求，包括存储、计算、安全、统一元数据管理、兼容性、运维及 高可用等要求。 本文件适用于指导数据湖平台的研发、测试、评估和验收等，可用于金融、电信、能源、公共安全 等行业数据湖平台产品的测试和选型。 2规范性引用文件 下列文件中的内容通过文中的规范 。其中,注日期的引用文件， 叶必不可少的杀款 仅该日期对应的版本适用于本文件 用文件，其最新版本（包括所有的修改单）适用于本 文件。 信息书 7部分：数据库 GB/T 5271.17 数据术语 GB/T 35295-2017 3术语和定义 GB/T 5271.17、GB 的以及下列术语和定义适用于本文件。 52 3. 1 非结构化数据 unstru ed 不具有预定义模型或未 口的数据。 [来源：GB/T 35295-2017, 3. 2 结构化数据 structu CCSA -种数据表示形式， 一致的并且可以使用 关系模型予以有效的描 [来源：GB/T 352] 3. 3 元数据 metadata 关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权和 数据易变性的数据。 [来源：GB/T 5271.17-2010，定义17.06.05] 4缩略语 下列缩略语适用于本文件。 ACL:访问控制列表（Access Control List） AI:人工智能（Artificial Intelligence） API:应用程序编程接口（Application ProgrammingInterface） CPU:中央处理器（Central Processing Unit） IP：网际互连协议（InternetProtocol） POSIX:可移植操作系统接（Portable Operating System Interface of UNIX) REST:表征性状态转移（REpresentational State Transfer） SDK:软件开发工具包（Software Development Kit） 1 T/CCSA 574—2024 SQL:结构化查询语言（Structured Query Language） 5概述 数据湖平台是支持结构化数据、非结构化数据、半结构化数据和二进制数据等数据类型的大规模存 和计算的数据平台解决方案，具备存算分离、弹性扩缩容、容器化、统一元数据管理等能力。 数据湖平台技术要求包含存储能力、计算能力、安全能力、统一元数据管理、兼容性能力、运维能 力和高可用能力。 6技术要求 6.1存储能力 存储能力要求具体如下： 应支持统一的外部关系型数据库 布式文件系统 等数据源的管理； 应支持结构化、半结构化、 b) ： 应支持提供标准、低频 子储类型，支持分级策略配置以及按照文件、指定目录 c) 等策略进行迁移; 应支持近计算端的 并支持多种存储介质。 d) 文件/对象操作： e) 1）应支持通 干扰，创建、复制、删除、获取、批量删除操 作; 2) 应支持设置 艮操作； 3) 应对于超大型 支持通过分块的方式上传或者下载； 4) 应支持追加写 应支持文件/对象日 5）） 应支持多副本、EC（纠删码） f) 应支持常见的数据湖表格式，如Iceberg、Delta Lake、Hudi等; g) 宜支持通过类 SQL 存储侧，屏蔽底层存 h) CCSA 储和计算系统差异 宜支持存储系统声 会限制请求的访问速 度。 6.2计算能力 计算能力要求具体如下： 应支持动态扩容缩容存储、计算资源； 应支持存储计算解耦，能独立扩展； 应支持离线分析、流式分析、机器学习、交互式分析等三个以上场景分析； c） 宜支持容器化的弹性MapReduce 服务； (P 宜支持列存数据加速。 6.3安全能力 安全能力要求具体如下： 应支持计算集群中的服务之间启用身份验证： 应支持多种方式，如用户策略、存储桶策略/ACL，指定不同的主体对指定的资源进行指定的操 b) 作，应支持各计算引擎使用统一的权限平台访问数据： c) 应支持计算与存储系统所有操作日志的记录并支持审计活动，能够记录账号级别、存储系统的 敏感操作，进行追溯和审计； 应支持存储系统中的数据加密； d) 2