全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211088284.5 (22)申请日 2022.09.07 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 屈贯伟 唐锆 王聪  (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 刘飞 许曼 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/25(2019.01) G06F 16/22(2019.01) (54)发明名称 一种数据批量加载 方法及装置 (57)摘要 本发明涉及数据处理领域, 尤其涉及一种数 据批量加载方法及装置, 方法包括: 预先获取数 据源的数据结构信息并保存; 启动定时获取任 务, 获取数据源的指定路径下的数据文件; 根据 所述数据结构信息对所述数据文件进行解析, 得 到待加载数据; 将所述待加载数据入库保存。 相 比于现有技术中需要人工对分行的数据进行解 析, 并将解析结果按照规定的方式汇总到总行的 数据库中的方法, 实现了自动定期地从分行加载 数据, 并且自动对分行的数据进行解析入库, 提 高了数据加载的效率, 解决了 现有技术中人工对 数据进行汇总的方法的效率低且易出错的问题。 权利要求书2页 说明书8页 附图4页 CN 115391367 A 2022.11.25 CN 115391367 A 1.一种数据批量加载 方法, 其特 征在于, 所述方法包括: 预先获取数据源的数据结构信息并保存; 启动定时获取任务, 获取 数据源的指定路径下的数据文件; 根据所述数据结构信息对所述数据文件进行解析, 得到待加载 数据; 将所述待加载 数据入库保存。 2.根据权利要求1所述的方法, 其特征在于, 当获取到的所述数据文件为多个时, 所述 方法还包括, 根据所述数据结构信息判断获取到的所述数据文件是否为拆分后的子文件; 若是, 根据所述数据 结构信息将属于同一文件的多个所述数据文件作为多个子数据文 件; 根据所述数据结构信息分别对每 个所述子数据文件进行解析; 将解析的结果进行整合, 得到所述待加载 数据。 3.根据权利要求2所述的方法, 其特征在于, 得到多个子数据文件之后, 所述方法还包 括, 根据所述数据结构信息以及已获取到的所述多个子数据文件确定所述同一文件下是 否存在其 他尚未获取到的子数据文件; 若是, 则继续获取所述指定路径下的数据文件, 直到获取到了所述同一文件下的全部 的子数据文件; 根据所述数据结构信息分别对每 个所述子数据文件进行解析; 将解析的结果进行整合, 得到所述待加载 数据。 4.根据权利要求1所述的方法, 其特征在于, 所述数据结构信 息中包括同一文件的多个 字段; 根据所述数据结构信息对所述数据文件进行解析, 得到待加载 数据进一 步包括, 根据所述数据结构信息提取 所述数据文件中每 个字段的数据; 将提取到的多个字段的数据作为所述待加载 数据。 5.根据权利要求 4所述的方法, 其特 征在于, 将所述待加载 数据入库保存进一 步包括, 以所述字段为索引, 将与所述字段对应的数据保存在数据库中。 6.根据权利要求1所述的方法, 其特征在于, 所述方法还包括, 记录获取到的所述数据 文件的处理状态, 以便于工作人员根据记录的所述处理状态对数据批量加载的过程进 行回 溯。 7.一种数据批量加载装置, 其特 征在于, 包括: 数据结构信息获取 单元, 用于预 先获取数据源的数据结构信息并保存; 数据文件获取 单元, 用于启动定时获取任务, 获取 数据源的指定路径下的数据文件; 数据文件解析单元, 用于根据所述数据结构信息对所述数据文件进行解析, 得到待加 载数据; 入库保存单 元, 用于将所述待加载 数据入库保存。 8.一种计算机设备, 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序, 其特征在于, 所述处理器执行所述计算机程序时实现权利要求1至6任一所述方 法。权 利 要 求 书 1/2 页 2 CN 115391367 A 29.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有计算机程 序, 所述计算机程序被处 理器执行时实现权利要求1至 6任一所述方法。 10.一种计算机程序产品, 其特征在于, 所述计算机程序产品包括计算机程序, 所述计 算机程序被处 理器执行时实现权利要求1至 6任一所述方法。权 利 要 求 书 2/2 页 3 CN 115391367 A 3

PDF文档 专利 一种数据批量加载方法及装置

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据批量加载方法及装置 第 1 页 专利 一种数据批量加载方法及装置 第 2 页 专利 一种数据批量加载方法及装置 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-07 12:40:10上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。