全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211157977.5 (22)申请日 2022.09.22 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 孙悦  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张志梅 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/27(2019.01) (54)发明名称 一种数据质量检验方法及装置 (57)摘要 本申请提供了一种数据质 量检验方法及装 置, 可应用于数据处理技术领域或金融领域。 在 执行所述方法时, 首先制定检验规则; 然后根据 所述检验规则对 数据进行检验; 最后获取所述数 据的检验结果, 并将所述检验结果进行可视化展 示。 这样, 通过制定数据质量检验规则, 根据数据 质量检验规则对 数据进行检验, 可 实现对数据内 容做完整性、 唯一性、 有效性等方面进行检验, 并 通过对检验结果进行可视化界面展示可反映出 数据质量现状、 发现数据质量问题, 解决了现有 技术中核验规则相对较单一, 缺乏全面性, 不能 有效检验 多种数据质量问题。 权利要求书1页 说明书7页 附图3页 CN 115481116 A 2022.12.16 CN 115481116 A 1.一种数据质量检验方法, 其特 征在于, 所述方法包括: 制定检验规则; 根据所述检验规则对数据进行检验; 获取所述数据的检验结果, 并将所述检验结果进行 可视化展示。 2.根据权利要求1所述的方法, 其特征在于, 所述根据所述检验规则对数据进行检验, 具体包括: 根据数据检验规则对数据完整性、 数据有效性、 数据一致性、 数据准确性、 数据及时性 进行检验。 3.根据权利要求1所述的方法, 其特征在于, 在所述制定检验规则之后, 所述方法还包 括: 从不同维度对所述检验规则进行分类; 将分类后的规则进行 可视化界面展示。 4.根据权利要求1所述的方法, 其特征在于, 在所述根据 所述检验规则对数据进行检验 之前, 所述方法还 包括: 构建数据检验任务, 所述数据检验任务至少包括所述数据检验任务的基本信息、 数据 检验规则、 任务调度策略、 任务的告警信息以及任务数据的时间范围。 5.根据权利要求1所述的方法, 其特征在于, 在所述获取所述数据的检验结果之后, 所 述方法还 包括: 将未通过检验的数据同步至数据处理平台, 以供所述数据处理平台对未通过检验的数 据进行处 理。 6.一种数据质量检验装置, 其特征在于, 所述装置包括: 制定模块、 检验模块、 展示模 块; 所述制定模块, 用于制定检验规则; 所述检验 模块, 用于根据所述检验规则对数据进行检验; 所述展示模块, 用于获取 所述数据的检验结果, 并将所述检验结果进行 可视化展示。 7.根据权利要求6所述的装置, 其特 征在于, 所述检验 模块具体用于: 根据数据检验规则对数据完整性、 数据有效性、 数据一致性、 数据准确性、 数据及时性 进行检验。 8.根据权利要求6所述的装置, 其特征在于, 所述装置还包括分类模块, 在所述制定检 验规则之后, 所述分类模块用于从不同维度对所述检验规则进行分类; 所述展示模块用于将分类后的规则进行 可视化界面展示。 9.根据权利要求6所述的装置, 其特征在于, 所述装置还包括构建模块, 在所述根据所 述检验规则对数据进行检验之前, 所述构建模块具体用于: 构建数据检验任务, 所述数据检验任务至少包括所述数据检验任务的基本信息、 数据 检验规则、 任务调度策略、 任务的告警信息以及任务数据的时间范围。 10.根据权利要求6所述的装置, 其特征在于, 所述装置还包括同步模块, 在所述获取所 述数据的检验结果之后, 所述同步模块具体用于: 将未通过检验的数据同步至数据处理平台, 以供所述数据处理平台对未通过检验的数 据进行处 理。权 利 要 求 书 1/1 页 2 CN 115481116 A 2一种数据质量 检验方法及装置 技术领域 [0001]本申请涉及数据处 理技术领域, 尤其涉及一种数据质量检验方法及装置 。 背景技术 [0002]数据质量问题存在于数据整个生命周期内各个环节, “数据治理 ”工作中重要的一 环就是发现数据质量问题, 并对数据质量问题进行整 改。 在整改问题前需要先找到 问题数 据, 如何寻找和定位问题数据, 是提升数据质量的前提。 [0003]为了确保数据湖中的数据满足监管报送的业务需求, 提升数据质量, 需要对源系 统下传至数据湖的数据内容做完整性、 唯一性、 有效性等方面的核验。 目前, 现有技术中的 核验规则相对较单一, 缺乏全面 性, 不能有效检验多种数据质量问题。 发明内容 [0004]有鉴于此, 本申请实施例提供了一种数据质量检验方法及装置, 旨在解决现有技 术中核验规则相对较单一, 缺乏全面 性, 不能有效检验多种数据质量问题。 [0005]第一方面, 本申请实施例提供了一种数据质量检验方法, 所述方法包括: [0006]制定检验规则; [0007]根据所述检验规则对数据进行检验; [0008]获取所述数据的检验结果, 并将所述检验结果进行 可视化展示。 [0009]可选的, 所述 根据所述检验规则对数据进行检验, 具体包括: [0010]根据数据检验规则对数据完整性、 数据有效性、 数据一致性、 数据准确性、 数据及 时性进行检验。 [0011]可选的, 在所述制定检验规则之后, 所述方法还 包括: [0012]从不同维度对所述检验规则进行分类; [0013]将分类后的规则进行 可视化界面展示。 [0014]可选的, 在所述 根据所述检验规则对数据进行检验之前, 所述方法还 包括: [0015]构建数据检验任务, 所述数据检验任务至少包括所述数据检验任务的基本信息、 数据检验规则、 任务调度策略、 任务的告警信息以及任务数据的时间范围。 [0016]可选的, 在所述获取 所述数据的检验结果之后, 所述方法还 包括: [0017]将未通过检验的数据同步至数据处理平台, 以供所述数据处理平台对未通过检验 的数据进行处 理。 [0018]第二方面, 本申请实施例提供了一种数据质量检验装置, 所述装置包括: 制定模 块、 检验模块、 展示模块; [0019]所述制定模块, 用于制定检验规则; [0020]所述检验 模块, 用于根据所述检验规则对数据进行检验; [0021]所述展示模块, 用于获取所述数据的检验结果, 并将所述检验结果进行可视化展 示。说 明 书 1/7 页 3 CN 115481116 A 3

.PDF文档 专利 一种数据质量检验方法及装置

文档预览
中文文档 12 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据质量检验方法及装置 第 1 页 专利 一种数据质量检验方法及装置 第 2 页 专利 一种数据质量检验方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:49:19上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。