全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211041313.2 (22)申请日 2022.08.29 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 周宝琛  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张雪娇 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/27(2019.01) G06F 16/23(2019.01) (54)发明名称 数据加载 方法、 系统及相关装置 (57)摘要 本申请公开了数据加载方法、 系统及相关装 置, 可应用于数据传输领域以及金融领域。 本发 明可以通过主节点获得目标数据文本, 其中, 目 标数据文本包括多行文本数据; 主节 点针对所述 目标数据文本的任一行文本数据, 根据预设的规 则表, 解析文本数据, 从而得到对应的主题标识; 主节点根据各主题标识, 将各文本数据进行分 组; 针对任一组文本数据, 主节点将对应的文本 数据发送至消息中间件中对应的主题; 各子节点 分别根据预先订阅的主题, 从消息中间件对应的 主题中获得相应的文本数据, 并将获得的文本数 据更新至对应的数据库。 本发明可以将目标数据 文本按照不同的主题进行拆分, 然后由不同的子 节点并行加载不同主题的文本数据, 并更新至数 据库, 效率较高。 权利要求书2页 说明书9页 附图3页 CN 115374205 A 2022.11.22 CN 115374205 A 1.一种数据加载方法, 其特征在于, 应用于一种数据加载系统, 所述数据加载系统包 括: 主节点、 子节点和 消息中间件; 所述数据加载 方法, 包括: 所述主节点获得目标 数据文本, 其中, 所述目标 数据文本包括多行文本数据; 所述主节点针对所述目标数据文本的任一行所述文本数据, 根据预设的规则表, 解析 所述文本数据, 从而得到对应的主题标识; 所述主节点根据 各所述主题标识, 将各所述文本数据进行分组, 其中, 同一组的各文本 数据的主题标识相同, 不同组的各文本数据的主题标识不同; 针对任一组所述文本数据, 所述主节点将对应的文本数据发送至所述消息 中间件中对 应的主题, 其中, 所述主题与所述主题标识一 一对应; 各所述子节点分别根据 预先订阅的主题, 从所述消息 中间件对应的主题中获得相应的 文本数据, 并将获得的所述文本数据更新至对应的数据库。 2.根据权利要求1所述的方法, 其特征在于, 在所述各所述子节点分别根据预先订阅的 主题, 所述消息中间件对应的主题中获得相应的文本数据, 并将获得 的所述文本数据更新 至对应的数据库之后, 所述方法还 包括: 各所述子节点分别将更新结果发送至所述主节点; 所述主节点根据 各子节点的所述更新结果, 确定本次针对所述目标数据文本的数据加 载是否超时。 3.根据权利要求2所述的方法, 其特征在于, 所述主节点根据各子节点的所述更新结 果, 确定本次针对所述目标 数据文本的数据加载 是否超时, 包括: 所述主节点统计在第一时间范围内获得各所述子节点的更新结果中记录的总记录行 数; 所述主节点判断所述主记录行数与所述目标文本数据中的文本数据的总行数是否一 致; 若所述主记录行数与 所述总行数一致, 则所述主节点确定本次针对所述目标数据文本 的数据加载 未超时; 若所述主记录行数与 所述总行数不一致, 则所述主节点确定本次针对所述目标数据文 本的数据加载已超时。 4.根据权利要求3所述的方法, 其特征在于, 在所述主节点确定本次针对所述目标数据 文本的数据加载已超时之后, 所述方法还 包括: 所述主节点确定未成功更新至数据库的文本数据, 并控制对应的子节点从相应的主题 中获取所述未成功更新至数据库的文本数据; 所述子节点将所述未成功更新至数据库的文本数据再次更新至相应的数据库。 5.根据权利要求1所述的方法, 其特征在于, 所述主节点针对所述目标数据文本的任一 行所述文本数据, 根据预设的规则表, 解析 所述文本数据, 从而得到对应的主题标识, 包括: 所述主节点针对所述目标数据文本的任一行所述文本数据, 根据 所述目标数据文本对 应的文本标识, 从所述预设的规则表中查询确定所述文本数据对应的分库字段信息, 其中, 所述分库字段信息包括字段位置信息和字段区间信息; 所述主节点根据 所述字段位置信 息, 从所述文本数据的对应的字符位置获取对应的字权 利 要 求 书 1/2 页 2 CN 115374205 A 2符字段, 其中, 所述字符位置与所述字段位置信息对应; 所述主节点 根据所述字段区间信息, 确定所述字符字段 所属的字段 取值区间; 所述主节点 根据所述字段 取值区间, 从所述 规则库中查询确定对应的数据库标识; 所述主节点根据 所述数据库标识, 从所述规则库中查询获得所述数据库 标识对应的所 述主题标识, 其中, 所述数据库标识与所述主题标识对应。 6.根据权利要求5所述的方法, 其特征在于, 所述各所述子节点分别根据 预先订阅的主 题, 从所述消息中间件对应的主题中获得相应的文本数据, 并将获得 的所述文本数据更新 至对应的数据库, 包括: 针对任一所述子节点, 所述子节点根据预先订阅的主题, 监听所述消息中间件对应的 主题; 当所述主题中有新的文本数据时, 所述子节点从所述主题中获得 所述新的文本数据; 所述子节点将所述新的文本数据更新至对应的数据库, 其中, 所述数据库的数据库标 识与所述主题的主题标识对应。 7.根据权利要求1所述的方法, 其特征在于, 在所述针对任一组所述文本数据, 所述主 节点将对应的文本数据发送至所述消息中间件中对应的主题之后, 所述方法还 包括: 所述消息中间件根据各 所述主题, 将各组所述文本数据进行分区存 储。 8.一种数据加载系统, 其特 征在于, 包括: 主节点、 子节点和 消息中间件; 所述主节点, 包括数据文本获得单元、 文本数据解析单元、 文本数据分组单元、 文本数 据发送单 元; 各所述子节点, 包括: 文本数据更新单 元; 所述数据文本获得单元, 用于获得目标数据文本, 其中, 所述目标数据文本包括多行文 本数据; 所述文本数据解析单元, 用于针对所述目标数据文本的任一行所述文本数据, 根据预 设的规则表, 解析 所述文本数据, 从而得到对应的主题标识; 所述文本数据分组单元, 用于根据各所述主题标识, 将各所述文本数据进行分组, 其 中, 同一组的各文本数据的主题标识相同, 不同组的各文本数据的主题标识不同; 所述文本数据发送单元, 用于针对任一组所述文本数据, 将对应的文本数据发送至所 述消息中间件中对应的主题, 其中, 所述主题与所述主题标识一 一对应; 各所述文本数据更新单元, 用于分别根据预先订阅的主题, 从所述消息中间件对应的 主题中获得相应的文本数据, 并将获得的所述文本数据更新至对应的数据库。 9.一种计算机可读存储介质, 其上存储有程序, 其特征在于, 所述程序被处理器执行时 实现如权利要求1至7中任一项所述的数据加载 方法。 10.一种电子设备, 其特征在于, 所述电子设备包括至少一个处理器、 以及与所述处理 器连接的至少一个存储器、 总线; 其中, 所述处理器、 所述存储器通过所述总线完成相互间 的通信; 所述处理器用于调用所述存储器中的程序指令, 以执行如权利要求1至7中任一项 所述的数据加载 方法。权 利 要 求 书 2/2 页 3 CN 115374205 A 3

PDF文档 专利 数据加载方法、系统及相关装置

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据加载方法、系统及相关装置 第 1 页 专利 数据加载方法、系统及相关装置 第 2 页 专利 数据加载方法、系统及相关装置 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-07 12:40:11上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。