全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211224257.6 (22)申请日 2022.10.08 (71)申请人 中国农业银行股份有限公司 地址 100005 北京市东城区建国门内大街 69号 (72)发明人 白羽 梁钰晨 李良玉 李卓蓉  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 曹伟 (51)Int.Cl. G06F 16/25(2019.01) G06Q 40/02(2012.01) (54)发明名称 一种数据引入系统及方法 (57)摘要 本申请实施例提供了一种数据引入系统及 方法, 数据接入组件用于根据目标数据的数据结 构和接入渠道确定相应的接入配置信息, 利用接 入配置信息对目标数据进行接入, 数据加载组件 用于根据加工处理配置信息, 对目标数据进行统 一加工处理, 得到数据格式相同的加工数据, 数 据导出组件对加工数据根据导出配置信息进行 导出。 本申请实施例提供的数据引入系统, 实现 在异构多源外部数据场景下, 目标数据的参数化 和配置化统一接入, 形成配置化的数据引入机 制, 提高外部系统接入数据的效率, 无需为每一 个数据源额外设计数据接入流程, 降低数据接入 成本。 权利要求书1页 说明书7页 附图2页 CN 115525710 A 2022.12.27 CN 115525710 A 1.一种数据引入系统, 其特征在于, 所述系统包括: 数据接入组件、 数据加载组件和数 据导出组件; 所述数据接入组件用于根据目标数据的数据结构和接入渠道确定相应的接入配置信 息, 利用所述接入配置信息对所述目标 数据进行接入; 所述数据加载组件用于根据加工处理配置信息, 对所述目标数据进行统一加工处理, 得到数据格式相同的加工数据; 所述数据导出组件 对所述加工数据根据导出配置信息进行导出。 2.根据权利要求1所述的系统, 其特 征在于, 所述系统还 包括数据解析组件; 所述数据解析组件用于当所述目标数据为非结构化数据时, 根据解析配置信 息对所述 目标数据进行解析, 得到解析 数据。 3.根据权利要求2所述的系统, 其特征在于, 所述解析配置信 息至少包括解析后文件配 置信息、 解析来源文件配置信息和解析字段配置信息 。 4.根据权利要求1所述的系统, 其特征在于, 所述接入配置信 息至少包括文件输入路径 和文件存储路径。 5.根据权利要求1 ‑4任意一项所述的系统, 其特征在于, 所述加工处理配置信 息至少包 括表类型、 分区信息和 增量接入信息 。 6.一种数据引入方法, 其特 征在于, 所述方法包括: 利用数据接入组件根据目标数据的数据结构和接入渠道确定相应的接入配置信 息, 利 用所述接入配置信息对所述目标 数据进行接入; 利用数据加载组件根据加工处理配置信息, 对所述目标数据进行统一加工处理, 得到 数据格式相同的加工数据; 利用数据导出组件 对所述加工数据根据导出配置信息进行导出。 7.根据权利要求6所述的方法, 其特 征在于, 所述方法还 包括: 利用数据解析组件在所述目标数据为非结构化数据时, 根据解析配置信 息对所述目标 数据进行解析, 得到解析 数据。 8.根据权利要求7所述的方法, 其特征在于, 所述解析配置信 息至少包括解析后文件配 置信息、 解析来源文件配置信息和解析字段配置信息 。 9.根据权利要求6所述的方法, 其特征在于, 所述接入配置信 息至少包括文件输入路径 和文件存储路径。 10.根据权利要求6 ‑9任意一项所述的方法, 其特征在于, 所述加工处理配置信息至少 包括表类型、 分区信息和 增量接入信息 。权 利 要 求 书 1/1 页 2 CN 115525710 A 2一种数据引入系统及方 法 技术领域 [0001]本发明涉及计算机领域, 特别涉及一种数据引入系统及方法。 背景技术 [0002]随着当前社会的金融和计算机发展, 涉及越来越多的金融交易, 随着银行业务的 快速发展, 银 行逐渐进行 数字化转型。 [0003]随着数字化步伐 的不断推进, 各业务条线外部数据需求越发旺盛。 大数据时代的 精准营销和智能风控需要更多维度更多视角的数据, 引入其它行业的海量高价值外部数 据, 从多种不同渠道中获取信息能有效解决银行内部数据来源片面单一的问题, 将客户在 行内产生的金融性数据与外部数据相融合, 一方面使得营销和风控模型更加精准, 另一方 面跨行业的数据碰撞会激发出更多的创新价值。 外部数据已经成为促进和实现业务创新的 重要推动力。 [0004]但是当前外部数据在接入银行系统中时, 存在类似数据源类型多样, 每种数据源 都采用独立的流 程接入导 致银行系统接入外 部数据导 致的接入复杂, 成本较高的问题。 [0005]因此, 现在亟需一种数据引入系统及方法。 发明内容 [0006]有鉴于此, 本申请的目的在于提供一种数据引入系统及方法, 能够提高外部系统 接入数据的效率, 降低接入成本 。 [0007]本申请实施例提供了一种数据引入系统, 所述系统包括: 数据接入组件、 数据加载 组件和数据导出组件; [0008]所述数据接入组件用于根据目标数据的数据结构和接入渠道确定相应的接入配 置信息, 利用所述接入配置信息对所述目标 数据进行接入; [0009]所述数据加载组件用于根据加工处理配置信息, 对所述目标数据进行统一加工处 理, 得到数据格式相同的加工数据; [0010]所述数据导出组件 对所述加工数据根据导出配置信息进行导出。 [0011]可选地, 所述系统还 包括数据解析组件; [0012]所述数据解析组件用于当所述目标数据为非结构化数据时, 根据解析配置信息对 所述目标 数据进行解析, 得到解析 数据。 [0013]可选地, 所述解析配置信息至少包括解析后文件配置信息、 解析来源文件配置信 息和解析字段配置信息 。 [0014]可选地, 所述接入配置信息 至少包括文件输入路径和文件 存储路径。 [0015]可选地, 所述加工处 理配置信息 至少包括表类型、 分区信息和 增量接入信息 。 [0016]本申请实施例提供了一种数据引入方法, 所述方法包括: [0017]利用数据接入组件根据目标数据的数据结构和接入渠道确定相应的接入配置信 息, 利用所述接入配置信息对所述目标 数据进行接入;说 明 书 1/7 页 3 CN 115525710 A 3

PDF文档 专利 一种数据引入系统及方法

文档预览
中文文档 11 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据引入系统及方法 第 1 页 专利 一种数据引入系统及方法 第 2 页 专利 一种数据引入系统及方法 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-03-03 12:15:24上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。