全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211084147.4 (22)申请日 2022.09.06 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 丁先  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 鲁丽美 (51)Int.Cl. G06F 16/28(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01) G06F 16/906(2019.01) (54)发明名称 数据处理方法、 装置、 计算机可读介质及计 算机程序 产品 (57)摘要 本申请公开一种数据处理方法、 装置、 计算 机可读介质及计算机程序产品, 该方法利用混合 数据仓库架构中的第一数据仓库获取数据源中 的数据, 得到贴源数据, 将贴源数据加载至混合 数据仓库架构中的第二数据仓库进行加工处理, 并将加工 结果数据传输至第一数据仓库, 在第一 数据仓库存储加工结果数据, 并基于存储的加工 结果数据对外提供数据服务; 其中, 第一数据仓 库的数据存储与性能高于第二数据仓库, 第一数 据仓库的计算性能低于第二数据仓库。 通过融合 不同方面分别各具性能优势的数据仓库, 并充分 发挥各仓库体系的优势功能, 有效解决了扩容难 度大、 性能慢、 数据类型多样数据难挖掘、 数据合 规要求严、 安全维护成本高等问题。 权利要求书2页 说明书11页 附图2页 CN 115329014 A 2022.11.11 CN 115329014 A 1.一种数据处 理方法, 其特 征在于, 所述方法包括: 利用混合数据仓库架构中的第一数据仓库获取 数据源中的数据, 得到贴源数据; 将贴源数据加载至所述混合数据仓库架构中的第 二数据仓库, 由所述第 二数据仓库对 贴源数据进行加工处 理, 并将加工结果数据传输 至所述第一数据仓库; 利用所述第 一数据仓库存储加工结果数据, 并基于存储的加工结果数据对外提供数据 服务; 其中, 所述第 一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于 所述第二数据仓库的数据存储性能和数据服务性能, 所述第一数据仓库的计算性能低于所 述第二数据仓库的计算 性能。 2.根据权利要求1所述的方法, 其特征在于, 所述利用混合数据仓库架构中的第 一数据 仓库获取 数据源中的数据, 得到贴源数据, 包括: 利用所述第一数据仓库采集数据源中的数据, 对采集的数据进行解析, 并对解析得到 的数据进行 数据贴源 存储, 得到贴源数据。 3.根据权利要求1所述的方法, 其特征在于, 所述将贴源数据加载至所述混合数据仓库 架构中的第二数据仓库, 包括: 将贴源数据写入目标表结构的数据表, 并将所述数据表存放至指定目录; 通过预设的数据加载模块从所述指定目录加载所述数据表至所述第二数据仓库; 其 中, 所述目标表结构为与所述第一数据仓库中数据文件的数据结构相匹配的表结构。 4.根据权利要求1所述的方法, 其特征在于, 所述由所述第 二数据仓库对加载的贴源数 据进行加工处 理, 包括: 基于所述第 二数据仓库提供的数据仓库逻辑模型和数据仓库物 理模型, 对加载的贴源 数据进行加工处 理; 其中, 所述数据仓库逻辑模型用于进行数据及数据间关联描述, 所述数据仓库物理模 型用于对数据分层加工链路及数据库表结构进行描述。 5.根据权利要求4所述的方法, 其特征在于, 所述基于所述第 二数据仓库提供的数据仓 库逻辑模型和数据仓库物理模型, 对加载的贴源数据进行加工处 理, 包括: 基于所述数据仓库物 理模型提供的数据分层加工链路上各数据分层的功能, 对加载的 贴源数据进行加工处 理; 其中, 加工处理过程中, 基于所述数据仓库逻辑模型及所述数据仓库物理模型提供的 数据库表结构, 进行数据分层加工链路上不同层之间的字段映射与数据库表关联关系确 定。 6.根据权利要求5所述的方法, 其特征在于, 所述数据分层加工链路上的各个数据分层 包括: 第二基础主题层、 第二汇总共享层和第二应用数据层; 所述第二基础主题层用于按照主题将加载的贴源数据进行分类整合; 所述第二汇总共享层用于根据业 务需求提炼汇总整合模型层输出的数据; 所述第二应用数据层用于对所述汇总共享层输出的数据进行应用级重组与加工处 理。 7.根据权利要求6所述的方法, 其特征在于, 所述第 一数据仓库的数据分层包括第 一基 础主题层、 第一汇总共享层和第一应用数据层; 所述将加工结果数据传输 至所述第一数据仓库, 包括:权 利 要 求 书 1/2 页 2 CN 115329014 A 2通过预设的数据下传模块: 将所述第二数据仓库的第二基础主题层产生的加工结果数据下传至所述第一数据仓 库的第一基础主题层; 将所述第二数据仓库的第二汇总共享层产生的加工结果数据下传至所述第一数据仓 库的第一汇总共享层; 将所述第二数据仓库的第二应用数据层产生的加工结果数据下传至所述第一数据仓 库的第一应用数据层。 8.根据权利要求7所述的方法, 其特征在于, 所述利用所述第 一数据仓库存储加工结果 数据, 并基于存 储的加工结果数据对外提供 数据服务, 包括: 在所述第一数据仓库的所述第 一基础主题层、 所述第 一汇总共享层和所述第 一应用数 据层对应存 储分别接收的加工结果数据; 通过所述第 一数据仓库中与 所述第一基础主题层、 所述第 一汇总共享层和所述第 一应 用数据层相连的数据接口层, 对外提供 数据服务。 9.一种数据处 理装置, 其特 征在于, 所述装置包括: 数据获取单元, 用于利用混合数据仓库架构中的第一数据仓库获取数据源中的数据, 得到贴源数据; 数据加载 单元, 用于将贴源数据加载至所述混合数据仓库架构中的第二数据仓库; 加工处理单元, 用于在所述第二数据仓库对贴源数据进行加工处 理; 数据下传单 元, 用于将加工结果数据传输 至所述第一数据仓库; 数据存储与数据服务单元, 用于利用所述第一数据仓库存储加工结果数据, 并基于存 储的加工结果数据对外提供 数据服务; 其中, 所述第 一数据仓库的数据存储性能和基于所存储数据的数据服务性能分别高于 所述第二数据仓库的数据存储性能和数据服务性能, 所述第一数据仓库的计算性能低于所 述第二数据仓库的计算 性能。 10.一种计算机可读介质, 其特征在于, 其上存储有计算机程序, 所述计算机程序包含 用于执行如权利要求1 ‑8任一项所述的方法的程序代码。 11.一种计算机程序产品, 其特征在于, 其包括承载在非暂态计算机可读介质上的计算 机程序, 所述计算机程序包 含用于执 行如权利要求1 ‑8任一项所述的方法的程序代码。权 利 要 求 书 2/2 页 3 CN 115329014 A 3

.PDF文档 专利 数据处理方法、装置、计算机可读介质及计算机程序产品

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据处理方法、装置、计算机可读介质及计算机程序产品 第 1 页 专利 数据处理方法、装置、计算机可读介质及计算机程序产品 第 2 页 专利 数据处理方法、装置、计算机可读介质及计算机程序产品 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 17:03:31上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。