全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211288730.7 (22)申请日 2022.10.20 (71)申请人 浪潮金融信息技 术有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道淞葭路818号富民三期厂 房3幢 (72)发明人 王瑜 王在印 胡焱 常绍盈  袭祥亮  (74)专利代理 机构 北京权智天下知识产权代理 事务所(普通 合伙) 11638 专利代理师 卢超 (51)Int.Cl. G06F 16/25(2019.01) G06F 9/445(2018.01) G06F 16/27(2019.01)G06F 16/906(2019.01) (54)发明名称 一种用于数据库的数据加载方法、 装置、 设 备及介质 (57)摘要 本发明公开了一种用于数据库的数据加载 方法、 装置、 设备及介质, 所述方法包括以下步 骤: 获取数据库数据加载需求, 根据数据库数据 加载需求获取待加载数据文件; 设置文件预处理 算法, 基于待加载数据文件和文件 预处理算法进 行文件列化分组处理, 得到分组数据列; 设置文 件同步加载算法, 基于文件同步加载算法将分组 数据列加载至第一数据库中; 本发 明能够针对于 国产数据库, 设计了区别于非国产数据库的数据 预处理方案, 在数据导入国产数据库前, 进行预 先列化处理和分组处理, 保证了数据分组的有序 性和一致性, 通过同步加载将处理后的数据加载 至国产数据库, 减少了国产数据库的数据导入步 骤, 增加了数据导入时效性, 降低了国产数据库 的资源消耗。 权利要求书2页 说明书8页 附图2页 CN 115510141 A 2022.12.23 CN 115510141 A 1.一种用于数据库的数据加载 方法, 其特 征在于, 包括以下步骤: 数据文件获取: 获取数据库数据加载需求, 根据所述数据库数据加载需求获取待加载 数据文件; 数据文件预处 理: 设置文件预处理算法, 基于所述待加载数据文件和所述文件预处理算法进行文件列化 分组处理, 得到分组数据列; 数据加载: 设置文件同步加载算法, 基于所述文件同步加载算法将所述分组数据列加载至第 一数 据库中。 2.根据权利要求1所述的一种用于数据库的数据加载 方法, 其特 征在于: 所述数据库数据加载需求包括: 第一加载需求和第一非加载需求; 所述第一加载需求 为所述第一数据库需要加载数据文件; 所述第一 非加载需求为所述第一数据库无需加载数 据文件; 所述根据所述数据库数据加载需求获取待加载 数据文件, 包括: 识别所述数据库数据加载需求; 若所述数据库 数据加载需求为所述第 一加载需求, 则获取与 所述第一加载需求相匹配 的第一数据文件; 打包所述第一数据文件作为所述待加载 数据文件。 3.根据权利要求1所述的一种用于数据库的数据加载 方法, 其特 征在于: 所述文件预处 理算法包括: 文件预分类算法和文件预分组算法; 所述基于所述待加载数据文件和所述文件预处理算法进行文件列化分组处理, 得到分 组数据列, 包括: 调用所述文件预分类算法将所述待加载 数据文件划分为若干第一文件列; 调用所述文件预分组算法对若干所述第 一文件列进行文件分组处理, 得到与若干所述 第一文件列分别对应的若干所述分组数据列。 4.根据权利要求3所述的一种用于数据库的数据加载 方法, 其特 征在于: 所述文件预分类算法, 包括: 识别所述待加载 数据文件中所包 含的若干数据特性; 创建与若干所述数据特性分别对应的若干空数据列; 按照若干所述数据特性将所述待加载数据文件分别排列至若干所述空数据列中, 得到 若干所述第一文件列。 5.根据权利要求 4所述的一种用于数据库的数据加载 方法, 其特 征在于: 所述文件预分组算法, 包括: 获取分组字段需求; 识别若干所述第一文件列所分别对应的若干所述数据特性; 基于所述分组字段需求和若干所述数据特性设定与若干所述第一文件列分别对应的 若干第一分组字段; 按照若干所述第一分组字段分别对若干所述第一文件列中的数据文件进行分组 处理; 设定经过所述分组 处理后的第一文件列为所述分组数据列。 6.根据权利要求3所述的一种用于数据库的数据加载 方法, 其特 征在于:权 利 要 求 书 1/2 页 2 CN 115510141 A 2所述基于所述文件同步加载算法将所述分组数据列加载至第一数据库中, 包括: 调用所述文件同步加载算法将若干所述分组数据列分别加载至所述第一数据库中。 7.根据权利要求6所述的一种用于数据库的数据加载 方法, 其特 征在于: 所述文件同步加载算法, 包括: 统计若干所述分组数据列的列值; 基于所述列值设定若干处 理线程; 通过若干所述处 理线程分别将若干所述分组数据列加载至所述第一数据库中。 8.一种用于数据库的数据加载装置, 其特征在于, 包括: 数据文件获取模块、 数据文件 预处理模块和数据加载模块; 所述数据文件获取模块, 用于获取数据库数据加载需求, 并根据所述数据库数据加载 需求获取待加载 数据文件; 所述数据文件预处理模块, 用于设置文件预处理算法, 并基于所述待加载数据文件和 所述文件预处 理算法进行文件列化分组 处理, 得到分组数据列; 所述数据加载模块, 用于设置文件 同步加载算法, 并基于所述文件 同步加载算法将所 述分组数据列加载至第一数据库中。 9.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有计算机 程序, 所述计算机程序被处理器执行时实现权利要求 1~7中任一项 所述用于数据库的数据 加载方法的步骤。 10.一种计算机设备, 其特征在于, 包括处理器、 通信接口、 存储器和通信总 线, 其中, 所 述处理器, 所述 通信接口, 所述存 储器通过 所述通信总线完成相互间的通信; 其中: 所述存储器, 用于存放计算机程序; 所述处理器, 用于通过运行所述存储器上所存放的程序来执行权利要求1 ‑7中任一项 所述用于数据库的数据加载 方法的步骤。权 利 要 求 书 2/2 页 3 CN 115510141 A 3

.PDF文档 专利 一种用于数据库的数据加载方法、装置、设备及介质

文档预览
中文文档 13 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种用于数据库的数据加载方法、装置、设备及介质 第 1 页 专利 一种用于数据库的数据加载方法、装置、设备及介质 第 2 页 专利 一种用于数据库的数据加载方法、装置、设备及介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:49:32上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。