ICS 35.020 L 70 DB15 内 蒙 古 自 治 区 地 方 标 准 DB15/T 1873—2020 大数据平台 数据接入质量规范 Data access quality specification for big data platform 2020-04-03 发布 内蒙古自治区市场监督管理局 2020-05-03 实施 发 布 DB15/T 1873—2020 目 次 前言 ..................................................................................II 1 范围 .................................................................................1 2 规范性引用文件 .......................................................................1 3 术语和定义 ...........................................................................1 4 概述 .................................................................................2 5 数据质量评价维度 .....................................................................2 6 数据接入质量技术要求 .................................................................3 7 数据质量评分方法 .....................................................................8 附录 A（资料附录）数据质量评价维度 .....................................................10 I DB15/T 1873—2020 前 言 本标准按照GB/T 1.1—2009给出的规则起草。 本标准由内蒙古自治区大数据发展管理局提出。 本标准由内蒙古自治区大数据发展管理局归口。 本标准起草单位：内蒙古自治区大数据发展管理局、新华三技术有限公司、中国电子技术标准化研 究院、内蒙古自治区大数据与云计算标准化委员会、内蒙古自治区标准化院、内蒙古银保监局、内蒙古 自治区地图院、内蒙古自治区电子信息产品质量检验院、内蒙古大学、浪潮软件集团有限公司、内蒙古 跃晨科技有限公司、北京东方金信科技有限公司、北京东方国信科技股份有限公司、天帆创新（北京） 科技发展有限公司、同方知网（北京）技术有限公司、内蒙古纵横云技术有限公司。 本标准主要起草人：张建军、崔连伟、孙卫、石彦龙、周佳琪、李向前、石建军、巩韶飞、顾君、 武茂春、卫凤林、马学彬、徐小强、万磊、张晓磊、王楠、李建文、刘玉坤、冯国忠。 II DB15/T 1873—2020 大数据平台 1 数据接入质量规范 范围 本标准规定了大数据平台数据接入过程中数据质量保障的规范及技术要求。 本标准适用于内蒙古自治区各数据提供单位接入大数据平台过程中的数据质量保障工作。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文 件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件； GB/T 5271.1 信息技术词汇 第1部分：基本术语 GB/T 36344 信息技术 数据质量评价指标 3 术语和定义 GB/T 5271.1、GB/T 36344和SY/T 6227-2005界定的术语和定义适用于本文件。为了便于使用，以 下重复列出以上标准的一些术语和定义。 3.1 数据 data 信息的可再解释的形式化表示，以适用于通信、解释或处理。 注：可以通过人工或自动手段处理数据。 [GB/T 5271.1-2000，定义01.01.02] 3.2 元数据 metadata 关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权限 和数据易变性的数据。 [GB/T 5271.1-2000，定义17.06.05] 3.3 数据质量 data quality 在指定条件下使用时，数据的特性满足明确的和隐含的要求程度。 [GB/T 36344-2018，定义2.3] 1 DB15/T 1873—2020 3.4 原始数据 raw data 终端用户所存储使用的各种未经过处理或简化的数据。 注：原始数据有多种存在形式，如文本数据、图像数据、音频数据或者几种数据混合存在。 [GB/T 36344-2018，定义2.4] 3.5 数据生命周期 data life cycle 将原始数据转化为可用于行动的知识的一组过程。 [GB/T 36344-2018，定义2.5] 3.6 数据集 data set 具有一定主题，可以标识并可以被计算机化处理的数据集合。 [GB/T 36344-2018，定义2.6] 3.7 数据标准 data standard 数据的命名、定义、结构和取值规范方面的规则和基准。 [GB/T 36344-2018，定义2.8] 3.8 检核任务 inspection task 数据核查的最小调度单位。 4 概述 大数据平台支持结构化数据、半结构化数据和非结构化数据等异构数据源采集数据，实现各类离线 数据、实时数据的采集与接入。针对大数据平台的数据接入，执行相应的质量评价标准，保证数据质量， 为各数据使用单位提供优质的数据服务。 5 数据质量评价维度 数据质量是保证数据应用和提供优质数据服务的基础，数据质量的评估标准主要包括八个维度：完 整性、规范性、一致性、准确性、唯一性、关联性、时效性、可访问性，本标准从以上八个维度评价数 据质量，详细请参考附录A。 2 DB15/T 1873—2020 6 数据接入质量技术要求 大数据平台为了保障数据质量，须从四个层面进行数据质量控制，数据标准体系质量控制、数据采 集质量控制、数据存储质量控制、数据使用质量控制进行全流程数据质量管控。数据接入质量整体框架 图见图1： 标准执行 数据监控 检核任务创建 血缘分析 检核任务调度 系统审计 检核日志 问题告警 数据质量报告 资产管控 质量检核 数据缓冲区 标准维护 数据标准层 标准监控 数据标准体系质量控制 检核方案创建 数据采集 标准制定 数据采集质量控制 图1 整体流程图 6.1 数据存储质量控制 数据使用质量控制 数据标准体系质量控制 6.1.1 数据标准制定 数据标准的制定按照数据标准管理的业务分类和定义规范指导要求，基于行业数据管控需求，进行 数据标准规范的制定,要求大数据平台按照该标准规范进行统一的数据管理。 数据标准制定包括数据标准的编制、数据标准的审核、数据标准的发布。数据标准化管理组织将数 据标准以正式发文的方式在内部进行发布，并在发布后将数据标准、版本说明保存备案。最终将发布的 数据标准更新至数据标准管理模块中，数据标准制定流程见图2： 3 DB15/T 1873—2020 数据标准编制 数据标准审查 数据标准送 审稿征求意 见 数据标 准管理 决策者 数据标 准管理 组织协 调者 数据标准发布 数据标准属 性收集整理 数据标准变 更 数据标准、 版本发布 数据标准 初稿 数据标 准管理 执行者 提供数据属 性信息 图2 数据标准制定流程 数据标准制定流程描述如下： a) 数据标准管理组织协调者组织数据提供者和执行者参与数据标准属性的收集和整理工作，并按 照协商一致的原则形成数据标准初稿； b) 数据标准初稿进行多次的讨论和丰富后，形成数据标准送审稿提交给数据标准管理决策者； c) 经过数据标准管理决策者的讨论审核后，由数据标准管理组织协调者再次进行数据标准的修改 完善，并完成数据标准的发布。 6.1.2 数据标准执行 数据标准管理执行流程见图 3。 数据标 准管理 决策者 标准执行效 果 数据标 准管理 组织协 调者 数据标准发 布 数据标准录 入 数据标 准管理 执行者 制定数据标 准接口 数据质量管 理 图3 4 数据标准执行流程 数据标准监 控 数据标准执 行结果 DB15/T 1873—2020 数据标准执行的流程步骤描述如下： a) 数据标准制定发布后，将数据标准录入到数据标准管理模块； b) 数据标准管理执行者按照发布的数据标准，制定和发布数据标准接口； c) 数据标准管理模块将标准要求提供给数据质量管理，根据已录入系统的数据标准形成稽查规则， 对数据标准管理执行者制定和发布的数据标准接口中的内容进行相关的标准稽核监控； d) 将标准稽核结果发送给数据标准管理模块，并反馈给数据标准管理决策者和数据标准管理执行 者。 6.1.3 数据标准维护 数据标准的维护指数据标准建立后，根据业务需求的发展变化或外部数据标准要求不一致时，对数 据标准的内容进行变更和版本管理，见图 4： 数据标 准管理 决策者 数据标 准管理 组织协 调者 在变更需求 审批表中签 署意见 数据标准变 更需求汇总 数据标准变 更 数据标准、 版本发布 审议数据标 准变更项 数据标 准管理 执行者 发起数据标 准变更需求 图4 数据标准维护流程 数据标准维护流程描述如下： a) 对执行的相关数据标准进行变更请求的申请，组织该数据标准相关执行层和各数据运维者进行 讨论和变更需求汇总； b) 由数据标准管理组织协调机构进行标准变更的审核； c) 讨论审议数据标准项的变更内容，并形成标准变更需求审批表提交给数据标准管理决策层进行 审批； d) 决策层将审批结果反馈给标准管理组织协调者，并由其进行数据标准发布及版本维护。 6.1.4 数据标准监控 数据标准监控实现对数据标准执行过程的监控，包括对数据标准的执行、效果、问题进行监控管理， 为后期数据标准维护管理提供依据。数据标准的监控通过数据标准管理和元数据管理、数据质量管理协 同实现落地。 5 DB15/T 1873—2020 6.2 数据采集质量控制 为了保证数据质量，根据数据仓库建设的总体目标和设计对数据的采集阶段提出严格、明确的质量 要求及必要的标准，具体要求如下： a) 待