(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210920861.6
(22)申请日 2022.08.02
(71)申请人 中国神华能源股份有限公司
地址 100000 北京市东城区安定门西滨河
路22号
申请人 国能网信科技 (北京) 有限公司
徐州天露中矿 矿业科技有限公司
(72)发明人 高云龙 于瑞雪 李夏光 刘海峰
(74)专利代理 机构 成都华辰智合知识产权代理
有限公司 513 02
专利代理师 秦华云
(51)Int.Cl.
G06F 16/215(2019.01)
G06F 16/23(2019.01)
G06F 16/25(2019.01)G06F 16/2455(2019.01)
G06F 21/62(2013.01)
G06N 20/10(2019.01)
(54)发明名称
一种基于数据指标的综合能源企业数据治
理方法及系统
(57)摘要
本发明公开了一种基于数据指标的综合能
源企业数据治理方法及系统, 其方法如下: S1、 根
据业务分析目标创建并定义所对应的属性表集
合, S2、 基于属性表集合构建得到指标数据模型;
S3、 获取多个数据源根据指标数据模型进行数据
融合生成目标业务表, 数据融合过程通过融合引
擎执行数据采集、 数据转换、 数据校验和数据融
合作业; S4、 将目标业务表存入数据库缓冲表中
提示进行确认, 将确认后数据存储于业务数据库
中并发布。 本发 明使得相关权限人员均能参与到
数据构建、 清洗、 治理过程, 明确了多源 数据到目
标数据的转换规则及校验机制, 提高了数据处理
质量与效率, 增强数据资产的稳定性与规范性。
权利要求书2页 说明书7页 附图4页
CN 115269578 A
2022.11.01
CN 115269578 A
1.一种基于数据指标的综合能源企业数据治理方法, 其特 征在于: 其方法如下:
S1、 根据业务分析目标创建并定义所对应的属性表集合, 属性表集合包括主数据表、 指
标表、 维度表;
S2、 基于属性表集 合构建得到指标 数据模型;
S3、 获取多个数据源根据指标数据模型进行数据融合生成目标业务表, 数据融合过程
通过融合引擎执 行数据采集、 数据转换、 数据校验和数据融合作业;
S4、 将目标业务表存入数据库缓冲表中提示进行确认, 将确认后数据存储于业务数据
库中并发布。
2.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在
于: 在S1中, 属性表集合中各个表的属性对应构建血缘有向图; 步骤S2中指标数据模 型的指
标数据定义包括字段定义、 数据的内外部来源定义、 从数据源获取入库的转换规则、 当前数
据版本以及 访问权限。
3.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在
于: 在S3中, 指标数据模 型的数据采集设置有 数据取值规则, 数据取值规则为采集存储时所
定义的描述语言, 指标数据模型 的数据采集会根据数据源的来源设定置信度评分表; 指标
数据模型的数据校验设置有效验约束规则, 效验约束规则包括血缘有向图匹配度。
4.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在
于: 在S4中, 目标业务表中列属性对应属性表集合, 行属性对应目标业务表中数据融合后的
数据, 数据库缓冲表根据数据自检得出数据的重复、 缺失、 错误信息给出确认提示; 对于数
据的重复情况, 根据数据来源构建置信概率表针对不同数据来源的数据赋值置信概率; 对
于数据的缺 失情况, 提供数据源所采集的、 相关联的原始数据供确认及添加, 创建行为记录
规则表对 数据源、 原始数据位置进 行记录; 对于数据的错误情况, 提供数据源所采集的列属
性与行属 性的原始数据供确认及更正, 创建行为记录规则表对数据源、 原始数据列属 性与
行属性映射关系进行记录 。
5.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在
于: 步骤S2中数据融合方法如下:
将不同来源的数据源作为不同的数据集, 通过支持向量机模型以不同数据集中的数据
元作为各支持向量样本按照目标业务表的列属性进行核函数K()的相似性度量并按照如
下公式计算加权求和值M并以加权求和值M的大小 进行决策:
M=sgn(∑aiyik(xi, x)+b), 其中aiyi为权重值, k(xi, x)为支持向量xi的非线性变换, xi
为输入向量, b表示支持向量机模型中参数。
6.按照权利要求2所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在
于: 不断对多个数据源进行数据增 量变化监控, 并通过更新引擎根据血缘有向图进行增量
数据更新输入到数据库缓冲 表中提示是否更新确认, 将确认后的增量数据在业务数据库中
对应加载。
7.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在
于: 步骤S4中确认操作设置有访问权限、 确认人员权限、 审核人员权限。
8.一种基于数据指标的综合能源企业数据治理系统, 其特 征在于: 包括:
基础信息定义模块, 根据业务分析目标创建并定义所对应的属性表集合, 属性表集合权 利 要 求 书 1/2 页
2
CN 115269578 A
2包括主数据表、 指标表、 维度表, 定义属性表集 合中各个表的基础属性信息;
指标数据模型, 基于属性表集 合构建;
目标业务表生成模块, 获取多个数据源根据指标数据模型进行数据融合生成 目标业务
表, 数据融合过程 通过融合引擎执 行数据采集、 数据转换、 数据校验和数据融合作业;
确认和发布模块, 将目标业务表存入数据库缓冲表中并提示进行确认, 将确认后数据
存储于业务数据库中并发布。
9.按照权利要求8所述的一种基于数据指标的综合能源企业数据治理系统, 其特征在
于: 所述基础信息定义模块的属性表集合中各个表的属 性对应构建血缘有向图, 指标数据
模型的指标数据定义包括字段定义、 数据的内外部来源定义、 从数据源获取入库的转换规
则、 当前数据版本以及 访问权限。
10.按照权利要求8所述的一种基于数据指标的综合 能源企业数据治理系统, 其特征在
于: 所述指标数据模型包含有数据取值规则, 数据取值规则为采集存储时所定义的描述语
言, 指标数据模型在数据采集时根据数据源的来源设定置信度评分表; 指标数据模型包含
有效验约束规则, 效验约束规则包括血缘有向图匹配度。权 利 要 求 书 2/2 页
3
CN 115269578 A
3
专利 一种基于数据指标的综合能源企业数据治理方法及系统
安全报告 >
其他 >
文档预览
中文文档
14 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 思考人生 于 2024-02-07 20:38:29上传分享