ICS 35.020 L 70 DB15 内 蒙 古 自 治 区 地 方 标 准 DB15/T 1872—2020 大数据平台 接入技术要求 Technical specification of big data platform for access 2020-04-03 发布 内蒙古自治区市场监督管理局 2020-05-03 实施 发 布 DB15/T 1872—2020 目 次 前言 ................................................................................ II 1 范围 ............................................................................... 1 2 规范性引用文件 ..................................................................... 1 3 术语和定义 ......................................................................... 1 4 缩略语 ............................................................................. 2 5 概述 ............................................................................... 2 6 接入要求 ........................................................................... 3 6.1 6.2 6.3 6.4 6.5 6.6 关系数据库抽取 ................................................................. 3 服务网关服务 ................................................................... 5 实时消息队列 ................................................................... 6 文件接收 FTP 服务 ............................................................... 7 文件拉取 FTP 服务 ............................................................... 9 直报系统 ...................................................................... 10 7 安全要求 .......................................................................... 12 附录 A（资料性附录）关系数据库抽取接入说明 ........................................... 13 附录 B（资料性附录）服务网关服务接入说明 ............................................. 14 附录 C（资料性附录）实时消息队列接入说明 ............................................. 15 附录 D（资料性附录）文件接收 FTP 服务接入说明 ......................................... 16 附录 E（资料性附录）文件拉取 FTP 服务接入说明 ......................................... 19 I DB15/T 1872—2020 前 言 本标准按照GB/T 1.1—2009给出的规则起草。 本标准由内蒙古自治区大数据发展管理局提出并归口。 本标准起草单位：内蒙古自治区大数据发展管理局、新华三技术有限公司、中国电子技术标准化研 究院、内蒙古大学、内蒙古电子信息职业技术学院、内蒙古自治区大数据与云计算标准化委员会、中国 人民银行呼和浩特市中心支行、内蒙古自治区国土资源信息院、中信银行股份有限公司呼和浩特市分行、 内蒙古自治区标准化院、浪潮软件集团有限公司、北京东方国信科技股份有限公司、中通服咨询设计研 究院有限公司、天帆创新（北京）科技发展有限公司、同方知网（北京）技术有限公司、北京东方棱镜 科技有限公司、内蒙古跃晨科技有限公司、内蒙古纵横云技术有限公司。 本标准主要起草人：周佳琪、崔连伟、张建军、崔娜、赵逢波、卫凤林、屈强、崔波、胡大伟、汪 昆鹏、马逸群、王立权、王一丁、王海珠、徐小强、王楠、李敏、李建文、刘玉坤、胡南磊、付先路、 王伟哲、冯国忠。 II DB15/T 1872—2020 大数据平台 接入技术要求 1 范围 本标准规定了大数据平台与各数据提供单位管理支撑系统进行数据接入的技术要求及数据采集接 口、方式。 本标准适用于内蒙古自治区大数据平台进行数据采集功能研发、数据采集工具选型及其数据接入场 景提供规范要求。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 29262 信息技术 面向服务的体系结构（SOA） 术语 GB/T 35274 信息安全技术 大数据服务安全能力要求 GB/T 35295-2017 信息技术 大数据 术语 GB/T 37973 信息安全技术 大数据安全管理指南 3 术语和定义 GB/T 35295和GB/T 29262界定的术语和定义适用于本文件。为了便于使用，以下重复列出GB/T 35295 中的一些术语和定义。 3.1 大数据 big data 具有体量巨大、来源多样、生成极快、且多变等特征并难以用传统数据体系结构有效处理的包含大 量数据集的数据。 注：国际上，大数据的4个特征普遍不加修饰地直接用volume、variety、velocity和variablility予以表述，并分 别赋予了它们在大数据语境下的定义： a) 体量 volume：构成大数据的数据集的规模； b) 多样性 variety：数据可能来自多个数据仓库、数据领域或多种数据类型； c) 速度 velocity：单位时间的数据流量； d) 多变性 variability：大数据其他特征，即体量、速度和多样性等特征都处于多变状态。 [GB/T 35295-2017,定义2.1.1] 1 DB15/T 1872—2020 3.2 非结构化数据 unstructured data 不具有预定义模型或未以预定义方式组织的数据。 [GB/T 35295-2017,定义2.1.25] 3.3 静态数据 data at rest 处于静止状态，有典型特征表现为大数据的体量和多样性特征的数据。 [GB/T 35295-2017,定义2.1.37] 3.4 关系数据库 relational database 数据按关系模型来组织的数据库。 [GB/T 35295-2017,定义2.2.5] 3.5 管理信息系统 management information system 是一个以人为主导，利用计算机硬件、软件、网络通信设备以及其他办公设备，进行信息的收集、 传输、加工、储存、更新、拓展和维护的系统。 3.6 元数据 metadata 关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权和 数据易变性的数据。 [GB/T 35295-2017,定义2.2.7] 4 缩略语 下列缩略语适用于本文件。 FTP：标准的文件传输协议（File Transfer Protocol） JDBC：java数据库连接（Java DataBase Connectivity） HTTPS：超文本传输安全协议（Hyper Text Transfer Protocol over Secure Socket Layer 或 Hypertext Transfer Protocol Secure） Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作 流数据。 5 概述 大数据平台作为多维数据的处理平台，支持各类数据源的采集与接入。以下是大数据平台六种常用 数据源的接入方式： 2 DB15/T 1872—2020 a) b) c) d) e) f) 关系数据库抽取； 服务网关服务； 实时消息队列； 文件接收 FTP 服务； 文件拉取 FTP 服务； 直报系统。 具体数据接入总体框架见图 1： 大数据平台 数据接入服务 数据仓库 数据源 关系数据库抽取 关系数据库 服务网关服务 结构化 数据存储 接口数据 文件接收FTP服务 文件 管理信息 系统 半结构化 数据存储 文件拉取FTP服务 FTP服务 实时消息队列 流数据 管理信息 系统 非结构化 数据存储 直报系统 图 1 数据接入总体框架 6 接入要求 6.1 关系数据库抽取 6.1.1 功能要求 关系数据库抽取应提供管理信息系统关系数据库中的结构化数据到大数据平台数据存储的定时批 量抽取功能。关系数据库数据抽取应具备以下主要功能： a) 支持对主流的关系数据库进行数据抽取；支持对数据库中常用的数据类型进行数据抽取，至少 包括数值型、字符型、日期/时间型等数据类型； b) 支持“全量”和“ 增量”两种数据抽取模式；“全量”模式是指一次性将关系数据库中物理 表的数据抽取到大数据平台。“增量”模式是指根据设置的抽取条件筛选符合条件的数据抽取 到大数据平台； c) 支持关系数据库中结构化数据抽取到大数据平台,包含结构化数据存储、半结构数据存储、非 结构数据存储的数据仓库中； 3 DB15/T 1872—2020 d) 支持对关系数据库数据的采集内容和类型转换操作，至少包括选择具体的数据表、选择表中具 体的字段、字段类型格式转换等操作； e) 支持数据抽取操作的立即执行、定时调度运行。定时调度运行应提供多种调度策略，至少包括 固定时间间隔运行、指定时间点运行、指定时间范围运行、一次或指定次数运行等策