(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210934340.6 (22)申请日 2022.08.04 (65)同一申请的已公布的文献号 申请公布号 CN 115017223 A (43)申请公布日 2022.09.06 (73)专利权人 成都运荔枝科技有限公司 地址 610000 四川省成 都市武侯区晋阳路 184号4楼6A号 (72)发明人 李强　孙凯　谭思涛　冯俊超　 高成涛　干浩　吴农中　高飞　 山敏　麻亮　何永霞　 (74)专利代理 机构 成都华复知识产权代理有限 公司 512 98 专利代理师 余鹏(51)Int.Cl. G06F 16/25(2019.01) G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/27(2019.01) (56)对比文件 CN 114595201 A,202 2.06.07 CN 102891873 A,2013.01.23 CN 114116717 A,202 2.03.01 CN 114741036 A,2022.07.12 US 2002169777 A1,2002.11.14 审查员 杨春颖 (54)发明名称 一种支持大 数据量导入导出的系统 (57)摘要 本发明涉及数据处理相关领域， 公开了一种 支持大数据量导入导出的系统， 实现了对于业务 数据的集中性管理， 在多设备使用的场景下能够 更加方便的进行业务数据内容的管理和更新同 步， 并让多设备基于数据调度库对业务数据进行 同步、 实时的处理， 可以有效的解决现有技术中 多设备直接通过数据库读取与编辑修改可能发 生的多设备间不能及时的进行修改内容同步的 问题， 可以有效的避免现有技术中多设备同时修 改后对数据库进行编辑导致的编辑文本丢失等 问题， 同时， 多设备基于数据调度库进行业务数 据的读取与编写修改， 可以降低对于存储数据库 的数据读写资源占用， 保护存储数据库的同时， 提升用户在导出导入的读写体验。 权利要求书1页 说明书6页 附图2页 CN 115017223 B 2022.10.25 CN 115017223 B 1.一种支持大 数据量导入导出的系统， 其特 征在于， 包 含： 数据存储模块， 设有多个存储数据库， 所述存储数据库用于获取并存储业务数据， 并生 成与所述业务数据相对应的数据存储日志， 所述数据存储日志包括数据存储指针， 所述数 据存储指针用于响应数据读写请求以引导读取 所述业务数据； 数据调度模块， 用于建立数据调度库， 所述数据调度库与多个所述存储数据库建立数 据连接， 当获取所述数据读写请求时， 遍历所述数据存储日志， 根据相对应的所述数据存储 指针读取 所述业务数据并在所述数据调度库中存 储； 请求引导模块， 用于当所述业务数据在所述数据调度库中存储时， 基于所述数据调度 库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对应的 所述数据存 储指针进行覆盖； 数据权限模块， 用于获取并响应数据编辑请求， 并根据所述数据编辑请求对所述数据 调度库中的所述业务数据进行写入锁定， 所述数据编辑请求用于表征对所述业务数据的内 容修改替换需求， 所述内容 修改替换需求包括所述 业务数据的修改区域； 所述请求引导模块具体包括： 读取记录单元， 用于当所述数据调度库中的所述业务数据被读取时， 锁定所述数据存 储日志中相对应的所述数据存储指 针， 并在所述业务数据读取完成在所述数据调度库中存 储时生成临 时存储指针， 所述临 时存储指 针用于引导系统通过所述数据调 度库获取所述业 务数据； 引导覆盖单元， 用于通过所述临时存储指针对所述数据存储日志中相对应锁定的所述 数据存储指针进行覆盖； 所述数据权限模块包括： 修改列队单元， 用于当多个所述数据读写请求中包括数据编写请求时， 根据所述数据 编写请求相对应的内容修改替换需求对所述修改区域进行重合判断， 若 所述修改区域不重 合， 则直接响应多个所述数据编写请求， 若 所述修改区域具有重合， 则基于所述数据编写请 求的生成时间建立编写请求队列， 当某一所述数据编写请求完成时， 则响应所述编写请求 队列中的下一所述数据编写请求。 2.根据权利要求1所述的一种支持大数据量导入导出的系统， 其特征在于， 还包括数据 更新模块， 所述数据更新模块包括调度库更新单 元； 所述调度库更新单元， 用于在响应所述数据编辑请求后， 对所述数据调度库中的所述 业务数据进行 更新。 3.根据权利要求2所述的一种支持大数据量导入导出的系统， 其特征在于， 所述数据 更 新模块还 包括数据库更新单 元； 所述数据库更新单元， 用于当所述请求队列中的多个所述数据编写请求均响应完成 时， 根据所述数据调度库中的所述业务数据对所述存储数据库中的所述业务数据进行更 新。 4.根据权利要求1所述的一种支持大数据量导入导出的系统， 其特征在于， 所述数据权 限模块还 包括编辑日志单 元； 所述编辑日志单元， 用于对所述数据编 辑请求响应前后的所述业务数据修改区域以及 所述数据编辑请求的发出对象进行记录， 生成数据编辑日志并存 储。权　利　要　求　书 1/1 页 2 CN 115017223 B 2一种支持大数据量导入导出的 系统 技术领域 [0001]本发明涉及数据处 理相关领域， 具体是一种支持大 数据量导入导出的系统。 背景技术 [0002]在业务系统中， 各个系统均 需要一些数据导入或是数据导出的功能， 在现有技术 中， 每个系统均自己编写导入导出功能时， 便会累积产生较多的重复工作， 不便于系统的管 理和维护， 且对于系统性能资源的占用也会较多， 造成不必 要的性能浪费， 增加系统设置成 本与维护成本 。 [0003]且随着业务数量上的不断增长， 上述问题愈发凸显， 现有导入导出功能耗时时间 越来越长， 导致用户体验相对降低， 同时很多业务方独占面临着导入导出的不断调整， 无法 将通用功能进行组内分享， 使用不便 。 发明内容 [0004]本发明的目的在于提供一种支持大数据量导入导出的系统， 以解决上述背景技术 中提出的问题。 [0005]为实现上述目的， 本发明提供如下技 术方案： [0006]一种支持大 数据量导入导出的系统， 包 含： [0007]数据存储模块， 设有多个存储数据库， 所述存储数据库用于获取并存储业务数据， 并生成与所述业务数据相对应的数据存储 日志， 所述数据存储日志包括数据存储指针， 所 述数据存 储指针用于响应数据读写请求以引导读取 所述业务数据； [0008]数据调度模块， 用于建立数据调度库， 所述数据调度库与多个所述存储数据库建 立数据连接， 当获取所述数据读写请求时， 遍历所述数据存储日志， 根据相对应的所述数据 存储指针读取 所述业务数据并在所述数据调度库中存 储； [0009]请求引导模块， 用于当所述业务数据在所述数据调度库 中存储时， 基于所述数据 调度库生成临时存储指针在保留所述数据存储日志的基础上对所述数据存储日志中相对 应的所述数据存 储指针进行覆盖； [0010]数据权限模块， 用于获取并响应数据编辑请求， 并根据所述数据编辑请求对所述 数据调度库中的所述业务数据进 行写入锁定， 所述数据编辑请求用于表征对所述业务数据 的内容修改替换需求， 所述内容 修改替换需求包括所述 业务数据的修改区域。 [0011]作为本发明的进一 步方案： 所述请求引导模块具体包括： [0012]读取记录单元， 用于当所述数据调度库 中的所述业务数据被读取时， 锁定所述数 据存储日志中相对应的所述数据存储指 针， 并在所述业务数据读取完成在所述数据调 度库 中存储时生成临 时存储指针， 所述临 时存储指 针用于引导系统通过所述数据调 度库获取所 述业务数据； [0013]引导覆盖单元， 用于通过所述临时存储指针对所述数据存储日志中相对应锁定的 所述数据存 储指针进行覆盖 。说　明　书 1/6 页 3 CN 115017223 B 3