ICS 35.040 CCS L80 重 DB50 庆 市 地 方 标 准 DB 50/T 1177—2021 智慧交通 物联网数据服务平台 数据管理 通用要求 2021 - 11 - 30 发布 重庆市市场监督管理局 2022 - 03 - 01 实施 发 布 DB50/T 1177—2021 目  次 前言....................................................................................................................................................................... II 1 范围..................................................................................................................................................................... 1 2 规范性引用文件................................................................................................................................................. 1 3 术语和定义......................................................................................................................................................... 1 4 缩略语................................................................................................................................................................. 2 5 数据采集............................................................................................................................................................. 2 6 数据预处理......................................................................................................................................................... 2 7 数据存储............................................................................................................................................................. 3 8 数据交换............................................................................................................................................................. 3 9 数据处理............................................................................................................................................................. 4 10 数据分析........................................................................................................................................................... 4 11 数据服务........................................................................................................................................................... 5 I DB50/T 1177—2021 前  言 本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起 草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由重庆市经济和信息化委员会提出并归口。 本文件起草单位：重庆市城投金卡信息产业（集团）股份有限公司、中国电子技术标准化研究院、 重庆市公安局、重庆市公安局交通管理局。 本文件主要起草人：张鹏、彭滨鸿、王文峰、赵明、宋鸿、陈占锋、许汝峰、张伟、刘立国、胡芮 嘉、易佳、廖汝秋、刘玉印、李春雨、钟添翼、徐龙、徐立松、魏丽丽、杨民、辜继东、蒋川、张璋、 耿力、刘倩颖、王思翔。 II DB50/T 1177—2021 智慧交通 物联网数据服务平台 数据管理通用要求 1 范围 本文件规定了物联网数据服务平台数据管理通用要求，包括数据采集、数据预处理、数据存储、数 据交换、数据处理、数据分析以及数据服务。 本文件适用于物联网数据服务平台中数据管理的设计、选型和验收。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 35295-2017 信息技术 大数据 术语 3 术语和定义 下列术语和定义适用于本文件。 3.1 集群 cluster 一组相互独立的、通过高速网络互联的计算机或服务器。 3.2 RFID 过车数据 RFID passing data 车辆经过RFID读写器时，RFID读写器从经过车辆的电子牌中读取的数据信息。 3.3 结构化数据 structured data 一种数据表示形式，按此种形式，由数据元素汇聚而成的每个记录的结构都是一致的并且可以使用 关系模型予以有效描述 [来源：GB/T 35295-2017，2.2.13] 3.4 非结构化数据 unstructured data 不具有预定义模型或未以预定义方式组织的数据。 [来源：GB/T 35295-2017，2.1.25] 3.5 分布式计算 distributed computing 一种覆盖存储层和处理层的、用于实现多类型程序设计算法模型的计算模式。 注：分布式计算结果通常加载到分析环境。MapReduce是数据分布式计算中默认的处理构件。 [来源：GB/T 35295-2017，2.1.22] 1 DB50/T 1177—2021 4 缩略语 下列缩略语适用于本文件。 API: 应用程序编程接口（Application Programming Interface） CPU: 中央处理器（Central Processing Unit） GPU: 图形处理器（Graphics Processing Unit） JDBC：Java数据库连接（Java DataBase Connectivity） LLRP：底层读写器协议（Low Level Reader Protocol） RFID：射频识别（Radio Frequency IDentification） SQL：结构化查询语言(Structured Query Language) 5 数据采集 5.1 概述 数据采集是通过数据采集接口以主动采集数据方式或采集源定时推送数据方式获取原始数据。 5.2 原始数据 原始数据分为以下三类数据： a) 业务数据：包括读写器、摄像头、道闸设备等获取的数据信息； b) 管理数据：包括支撑平台信息、故障信息、告警信息和网络信息等； c) 其他数据：包括公共信息、政府信息等第三方数据。 5.3 业务过程 数据采集的业务过程包括： a) 静态数据采集： 相关政府部门将公共信息、政府信息等第三方数据传输至数据服务平台； b) 动态数据采集: 1）读写器、摄像头、道闸设备等将采集到的业务数据传输至数据服务平台； 2）读写器管理系统、摄像头管理系统等将采集到的故障信息、告警信息等管理数据传输 至数据服务平台。 5.4 功能要求 数据采集功能要求如下： a) 不同物理位置的采集节点应能够形成采集集群，可以进行统一的管理，例如采集数据的汇总、 转发、扩容； b) 应支持负载均衡，可平滑扩展； c) 应支持不同类型规格的RFID读写器； d) RFID读写器应支持时间同步功能； e) RFID读写器应支持LLRP及其扩展协议； f) 宜提供线性扩展功能。 6 2 数据预处理 DB50/T 1177—2021 6.1 概述 数据预处理是对输入的原始数据进行解密、去重、清洗（校正、补齐）、转换等操作。 6.2 功能要求 数据预处理模块功能要求如下： a) 应提供数据抽取、解密、去重、清洗、转换和加载处理功能； b) 应提供按照需求将存放在分布式文件系统、数据库中的文件或数据进行抽取的功能； c) 应提供对清洗后的数据按照分析模块的要求进行转换操作（如列转换、行转换、表转换等）的 功能。 7 数据存储 7.1 概述 数据存储是将来源不同的数据分别存入特定的数据库中以供抽取使用。 7.2 功能要求 数据存储模块功能要求如下： a) 应提供数据上传、数据下载、目录查看、目录创建、目录删除、权限修改等操作的功能； b) 应提供标准、开放的数据访问 API 对数据进行操作的功能； c) 应提供对相应权限用户进行授权的功能； d) 应提供数据加载工具或者功能，满足系统和传统关系型数据库、其他文件系统之间交换数据和 文件；