我擅治数—— 数据治理全过程域工具包研究 亿信华辰数据治理工具发展趋势 伴随着企事业单位信息化不断的深入、各种技术持续的发展以及人们对数据治理的认知不断加深，数据治理工具在过去的20年也不断的 发展 数据治理管理工具演变历程及各自阶段典型特点 编码时代（起步期） 名称：编码系统、编码网站 关键词：MIS系统 主要采用发布主数据代码为主，采用 接口开发形式分发数据 B/S架构、C/S架构都有主数据时代（发展期） 名称:：编码系统、编码网站 关键词：MIS系统 主要采用国外主流产品,SAP等产品 ESB产品较多使用国外产品 采用SOA ,B/S架构,主要为ERP等经 营管理系统服务信息标准化时代（成熟期） 名称：信息标准化管理系统 关键词∶智能工厂、数据服务 主要采用自主ESB数据交换平台 采用微服务架构，满足MES、PLM 等多个层面数据共享 动态建模、移动应用、内容扩展数据 指标、多语言数据治理时代（展望期） 名称：数据治理平台 关键词：大数据，工业互联网 主要采用数据中台技术和微服务架构 初步替代传统架构 面向大数据架构下,为数据资源中心 与外部数据系统提供教据服务 对内和对外系统提供云服务 1994年-2004年 1994年-2004年 2011年-2017年 2018年- DMBOK2.0中的工具包 数据管理职能 工具 工具说明 数据管理职能 工具 工具说明 数据治理线上应用/网站 利用线上模式，通过中心门户或者协作门户提供核心文档 数据集成和互操作数据转换引擎/ETL工具 数据集成工具箱主要工具，是每个企业数据集成程序的核心，通常支持数据转换活动的操作和设计 业务术语表 数据治理的核心工具，整理业务术语并获得各方认可，并将定义与数据进行关联 数据虚拟化服务器 对数据进行虚拟抽取、转换和集成 工作流工具 更大的组织会考虑使用强大的工作流工具来管理流程 企业服务总线 面向消息的中间件，用于在同一组织的异构数据存储、应用程序和服务器之间实现近乎实时的消息传递 文档管理工具 治理团队经常使用文档管理工具协助管理策略和规程 业务规则引擎 允许非技术用户管理软件的业务规则，在不改变技术代码的情况下支持对预测模型的更改 数据治理积分卡 跟踪数据治理活动和制度遵从性的指标集合 数据和流程建模工具 不仅用来设计目标数据结构，而且用来设计数据集成解决方案所需的中间数据结构 数据建模工具 数据血缘和关系跟踪，便于架构师管理不同层面的数据模型 数据剖析工具 包括对数据集的内容统计分析，以了解数据的格式、完整性、一致性、有效性和结构 数据架构资产管理软件 用于管理数据资源目录，描述其内容以及跟踪他们之间的关系 元数据存储库 包含有关组织中数据的信息，包括数据结构、内容以及用于管理数据的业务规则 图形设计应用 用于创建架构设计图形、数据流、数据价值链和其他架构构件 文件和内容管理企业内容管理系统 包含核心组件的平台或一组应用程序组件，包括文件管理、内容管理系统、内容和文件工作流等 数据建模工具 提供基本的绘图功能，概念模型，逻辑模型、物理模型的建设功能 协作工具 可用于收集、存储、工作流程和管理与团队活动相关的文件 数据建模与设计数据血缘工具 允许捕获和维护数据模型上每个属性的源结构变化的工具，可实现变更影响分析。 受控词汇表和元数据工具 帮助开发或管理受控词汇表和元数据，包括办公软件、元数据库和BI工具以及文件和内容管理系统 数据分析工具 基于元数据验证、识别数据质量和现有数据工件的缺陷 标准标记和交换格式 有助于信息系统和互联网之间共享数据 元数据资料库 用于存储有关数据模型的描述性信息，包括图表和附带的文本以及其他工具和流程 电子取证技术 提供许多功能和技术审查大量文件，如早期案例评估、收集、辨认、保全、处理等 数据模型模式 可在多场景下重复和广泛使用的模型结构，有组件、套件和整合数据模型模式 参考数据和主数据 主数据管理工具 通过数据整合工具、数据修复工具、操作性数据存储、数据共享中心或专门的主数据管理应用来实现 行业数据模型 为整个行业预建的数据模型，包括医疗保健、电信、银行、制造业等 数据仓库和商务智 能元数据存储库 关键是能够将来自各种来源的元数据“黏合”在一起，实现存储库的自动化和集成填充 数据建模工具 可以帮助数据建模人员自动化执行许多任务 数据集成工具 用于加载数据仓库 数据存储与操作数据库监控工具 自动监控关键指标并向DBA和网络存储管理员发出当前数据库问题报警 商务智能工具的类型 运营报表、业务绩效管理、描述性的自助分析 数据库管理工具 协助DBA管理多种数据库，包括配置功能、安装补丁和升级、备份和恢复等 元数据管理 元数据存储库 包括整合层和手工更新的接口。提供了在集中位置（存储库）管理元数据的功能 数据安全杀毒软件/安全软件 保护计算机免受网上病毒的侵扰 数据质量数据剖析工具 生成高级别的统计信息，分析人员能够据此识别数据中的模式并对质量特征进行评估 HTTPS 给网站配备了加密的安全层 建模与ETL工具 对数据质量有直接影响，有助于提高数据质量 身份管理技术 是存储分配的凭据，并根据请求（如当用户登录到系统时）与系统共享 数据质量规则模板 给予分析人员机会捕获客户对数据的期望，有助于弥合业务团队和技术团队之间的交流鸿沟 入侵侦测和入侵防御软件对预期模式的了解可检测出异常事件，当异常事件发生时系统会发送报警 元数据存储库 高质量数据的定义是元数据的一种价值呈现方式 亿信数据治理实施三阶理论 树靶子：数据治理顶层设计 (定战略, 组团队) 战略、组织、架构、评估、绩效等 定规矩：数据治理体系建设 (促业务, 控风险) 元数据、数据标准和规范、数据质量、安全等 建应用：数据服务和数据洞察 (融应用，增加值） 服务模式、数据可视化、数据分析与挖掘等01 数据管理体系 的治理面向数据价值 的治理治理目标 制定 战略组织 构建架构 设计统筹与 规划 监督和 评估改进和优化构建和运行评 估 指 导 监 督 02 03 数据治理全过程实施框架 三大阶段，十个要点，梳理覆盖数据治理咨询规划、方案制定、执行和评价的数据治理实施闭环式框架。 数据治理平台建设 体系规划与建设 数据治理管理办法 数据治理体系框架 整体规划与实施路线成熟度评估报告 差异性报告 数据摸底调研数据质量管理 元数据管理 数据生命周期 数据安全数据资产管理成熟度评估 现状分析 明确驱动力来源知 识 转 移树靶子：咨询规划阶段 定规矩：体系建设阶段 数据标准管理建应用：平台建设阶段 明确数据治理目标 数据治理组织架构设计治理战略目标 计划(Plan) 实施(Do) 检查(Check) 行动(Action)持续改进 组织制度建设 现状调研与分析 成熟度评估树靶子：咨询规划阶段工具之一：建设工序 图 Ø战略目标规划 Ø高层战略会议，明确数据战略和目标 Ø输出《数据治理总体规划》Ø项目组架构组 Ø制定数据治理战略，解决重大争端 Ø数据治理管理委员会 Ø数据治理资源配置 Ø制定实施问责及激励制度 Ø输出《项目组织架构图》、《项目组织成员通讯录》 Ø数据治理组织制度管理办法 Ø总体管理办法、专项管理办法、实施细则Ø内外部数据治理驱动力分析 Ø业务需求驱动、外部监管驱动、能力建设驱动、 Ø实际问题驱动 Ø输出《项目驱动力分析报告》 Ø数据治理成熟度评估 Ø以数据治理成熟度模型作为指导文件完成成熟 Ø度宣讲、企业自评、企业预期成熟度目标、企 业数据管理成熟度评估等工作 Ø输出： 《企业预期成熟度目标》、《成熟度评估报告》 《成熟度差异报告》数据现状调研分析 Ø系统架构：系统架构图、系统清单列表 Ø数据架构：库表清单、数据字典、数据流 向和关系 Ø数据标准：各业务系统数据规范是否统一，是否符合国 标、行标 Ø数据质量：数据问题收集，业务数据应用过程中的障碍 Ø数据资产：数据资产需求，数据资产盘点、核心数据资 产识别 Ø数据安全：数据权限管理调研，是否进行数据分级管理 输出：《各模块调研报告》 示 例 战略目标规划 组织架构建设 组织制度建设驱动力分析 成熟度评估现状调研 树靶子：咨询规划阶段工具之二：参考管理模型 通过车轮图的指导，确定数据治理的领域及范围数据战略 DAMA车轮图 11个知识领域 业务层面通过模型包中描述的8个数据管理能力域，28项能力项，来辅助政企单位找到 自身数据管理所处的能力级别成熟度评估 DCMM数据管理能力成熟度评估模型包 数据 战略数据生 存周期 数据 应用 数据 安全数据 治理 数据 架构 数据 质量数据 标准组织 流程技 术制 度DCMM评 价 标 准 数据架构数据建模 和设计 数据治理数据存储 和操作 数据集成 和互操作 文件和内 容管理数据质量 元数据 数据仓库和 商务智能 参考数据 和主数据 技术层面数据安全 树靶子：咨询规划阶段工具之三：工序模板 《数据治理总体规划》 《项目组织架构图》 《项目驱动力分析报告》 《企业预期成熟度目标》 《成熟度评估报告》 《成熟度差异报告》 《各模块调研报告》 《数据治理项目通讯录》