全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211288936.X (22)申请日 2022.10.20 (71)申请人 北京中交兴 路信息科技有限公司 地址 100176 北京市海淀区东北旺西路8号 中关村软件园27号院千方大厦A座 (72)发明人 彭超平 肖中南 夏曙东 陈利玲  冯新平 张志平  (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 李小朋 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/28(2019.01) (54)发明名称 一种数据同步管理系统和方法 (57)摘要 本发明公开了一种数据 同步管理系统和方 法, 系统包括: 数据同步任务配置模块、 存储模 块、 调度模块以及执行模块; 数据同步任务配置 模块, 用于确定待处理的数据同步任务, 配置数 据同步任务的配置参数, 生 成最终配置的数据同 步任务; 存储模块, 用于将最终配置的数据同步 任务保存至数据库; 调度模块, 用于轮询数据库 中符合预设周期内的目标数据同步任务, 将目标 数据同步任务传递至执行模块; 执行模块, 用于 根据接收的目标数据同步任务进行 实例化操作, 执行实例化后的数据同步程序, 生成数据同步结 果, 根据数据同步结果进行消息通知。 由于本申 请集成了多种数据同步功能, 从而丰富了数据同 步策略, 降低了数据同步操作门槛, 提升了数据 同步效率。 权利要求书2页 说明书8页 附图4页 CN 115495527 A 2022.12.20 CN 115495527 A 1.一种数据同步管理系统, 其特 征在于, 所述系统包括: 数据同步任务配置模块、 存 储模块、 调度模块以及执 行模块; 其中, 所述数据同步任务配置模块、 存 储模块、 调度模块以及执 行模块通信连接; 所述数据同步任务配置模块, 用于确定待处理的数据同步任务, 并配置数据同步任务 的配置参数, 生成最终配置的数据同步任务; 所述存储模块, 用于将最终配置的数据同步任务保存至数据库, 以供所述调度模块在 预设时刻进行调度; 所述调度模块, 用于轮询数据库中符合预设周期内的目标数据同步任务, 并将所述目 标数据同步任务传递至所述执 行模块; 所述执行模块, 用于根据接收的目标数据同步任务进行实例化操作, 并执行实例化后 的数据同步 程序, 生成数据同步结果, 并根据所述数据同步结果进行消息通知。 2.根据权利要求1所述的一种数据同步管理系统, 其特征在于, 配置所述数据同步任务 的配置参数, 生成最终配置的数据同步任务, 包括: 创建所述数据同步任务的目标执行器、 目标数据源插件、 目标数据转换插件、 目标数据 接收插件; 获取并配置所述数据同步任务的调度参数和调度周期; 将所述目标执行器、 目标数据源插件、 目标数据转换插件、 目标数据接收插件、 调度参 数和调度周期确定为所述数据同步任务的配置参数, 配置结束后得到最 终配置的数据同步 任务。 3.根据权利要求2所述的方法, 其特征在于, 创建所述数据同步任务的目标执行器、 目 标数据源插件、 目标数据转换插 件、 目标数据接收插 件, 包括: 确定所述数据同步任务的执行器, 获取并配置所述执行器所需的执行参数, 得到目标 执行器; 确定所述数据同步任务的数据源插件, 获取并配置所述数据源插件的数据源信息, 得 到目标数据源插件; 确定所述目标执行器的执行器类型, 并根据 所述执行器类型将所述目标执行器配置为 目标数据转换插 件; 确定所述数据同步任务的数据目标插件, 获取所述数据同步任务所需写入的数据目标 信息, 并将所述数据目标信息配置 到所述数据目标插 件中, 得到目标 数据接收插 件。 4.根据权利要求1所述的一种数据同步管理系统, 其特征在于, 所述轮询数据库中符合 预设周期内的目标 数据同步任务, 包括: 根据预设定时任务读取时刻 在数据库读取满足预设条件的数据同步任务; 根据满足预设条件的数据同步任务的配置参数, 生成次日对应时刻的实例任务; 将所述实例任务标记为 运行状态, 并保存至数据库; 采用轮询法在数据库中实时查询并获取满足当前时刻的目标实例任务; 当所述目标实例任务所依赖的全部定时任务运行成功且所述目标实例任务到达执行 时刻时, 将所述目标实例任务确定为符合预设周期内的目标 数据同步任务。 5.根据权利要求 4所述的一种数据同步管理系统, 其特 征在于, 当所述目标实例任务所依赖的全部定时任务中任一定时任务运行失败, 将所述目标实权 利 要 求 书 1/2 页 2 CN 115495527 A 2例任务标记为 等待依赖状态或者 等待运行状态, 并将所述目标实例任务重新写入数据库。 6.根据权利要求1所述的一种数据同步管理系统, 其特 征在于, 所述执行模块包括实例模块; 其中, 所述实例模块, 用于根据接收的目标数据同步任务进行实例化操作, 得到实例化后的 目标实例任务, 并将实例化后的目标实例任务封装为数据同步 程序。 7.根据权利要求4所述的一种数据同步管理系统, 其特征在于, 所述根据接收的目标数 据同步任务进行实例化操作, 包括: 根据所述目标实例任务获取 执行器类型, 并利用反射策略构建执 行器类; 设置所述执行器类的数据源插件、 转换插件以及数据目标插件, 生成执行器类同步任 务; 将所述执 行器类同步任务确定为实例化后的目标实例任务。 8.根据权利要求7所述的一种数据同步管理系统, 其特征在于, 所述执行实例化后的数 据同步程序, 生成数据同步结果, 包括: 执行所述执行器类同步任务, 生成执 行结果; 当所述执行结果为执行失败且执行失败次数超过预设失败次数阈值 时, 将所述目标实 例任务标记为执行失败状态, 并将所述 目标实例任务重新写入数据库, 以及将执行失败结 果确定为数据同步结果; 或者, 当所述执行结果为执行成功时, 将所述目标实例任务标记为执行成功状态, 并将所述 目标实例任务重新写入数据库, 以及调取被依赖的下游实例任务, 并继续执行所述采用轮 询法在数据库中实时查询并获取满足当前时刻的目标实例任务的步骤, 同时将执行成功结 果确定为数据同步结果; 将所述数据同步结果推送至消息通知模块。 9.根据权利要求7所述的一种数据同步管理系统, 其特征在于, 所述系统还包括消息通 知模块; 所述消息通知模块, 用于将接收的数据同步结果确定为实例运行结果, 并将所述实例 运行结果进行 数据同步 运行结果通知。 10.一种数据同步管理方法, 其特 征在于, 所述方法包括: 数据同步任务配置模块确定待处理的数据同步任务, 并配置数据同步任务的配置参 数, 生成最终配置的数据同步任务; 存储模块将最终配置的数据同步任务保存至数据库, 以供所述调度模块在预设时刻进 行调度; 调度模块轮询数据库中符合预设周期内的目标数据同步任务, 并将所述目标数据同步 任务传递至所述执 行模块; 执行模块根据接收的目标数据同步任务进行实例化操作, 并执行实例化后的数据同步 程序, 生成数据同步结果, 并根据所述数据同步结果进行消息通知。权 利 要 求 书 2/2 页 3 CN 115495527 A 3

.PDF文档 专利 一种数据同步管理系统和方法

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据同步管理系统和方法 第 1 页 专利 一种数据同步管理系统和方法 第 2 页 专利 一种数据同步管理系统和方法 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:49:12上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。