(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210823871.8 (22)申请日 2022.07.13 (71)申请人 上海聚水潭网络科技有限公司 地址 200040 上海市 静安区新闸路1418号5 幢214室 申请人 上海聚货通电子商务有限公司 　 杭州聚水潭网络科技有限公司 (72)发明人 沙正辉　李华靖　骆海东　颜嘉梁　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 杜阳阳 (51)Int.Cl. G06F 16/23(2019.01) G06F 11/36(2006.01) G06F 9/48(2006.01) G06F 9/50(2006.01)G06F 9/46(2006.01) G06F 9/445(2018.01) (54)发明名称 一种基于中间件的数据同步方法及系统 (57)摘要 本发明涉及一种基于中间件的数据 同步方 法及系统， 涉及数据处理技术领域， 方法包括： 获 取所有任务节 点上的待同步数据任务， 并确定每 个待同步数据任务对应的任务实例； 确定同步任 务组； 所述同步任务组为对应的任务实例相同的 多个待同步数据任务构成的数 组； 针对每一所述 同步任务组， 当所述同步任务组中所述待同步数 据任务的数量大于任务数安全阈值时， 发出任务 配置更新指令， 以改变所述待同步数据任务在对 应的任务节 点中的工作状态； 所述工作状态包括 同步状态和停止同步。 本发明面对 百万级表规模 数据， 对大规模同步过程进行调度配置， 实现数 据实时同步并最大限度减 小数据库的性能压力。 权利要求书2页 说明书7页 附图2页 CN 115145937 A 2022.10.04 CN 115145937 A 1.一种基于中间件的数据同步方法， 其特征在于， 所述基于中间件的数据同步方法包 括： 获取所有任务节点上的待同步数据任务， 并确定每个所述待同步数据任务对应的任务 实例； 确定同步任务组； 所述同步任务组为对应的任务实例相同的多个待同步数据任务构 成 的数组； 针对每一所述同步任务组， 当所述同步任务组中所述待同步数据任务的数量大于任务 数安全阈值时， 发出任务配置更新指令， 以改变所述待同步数据任务在对应的任务节点中 的工作状态； 所述工作状态包括同步状态和停止同步。 2.根据权利要求1所述的基于中间件的数据同步方法， 其特征在于， 所述获取所有任务 节点上的待同步数据任务， 具体包括： 获取所有任务接点上的初步触发任务； 针对每个所述初步触发任务， 判断所述初步触发任务是否处于任务异常状态； 若所述初步触发任务处于任务异常状态， 则发出任务异常通知； 若所述初步触发任务未处于异常状态， 则将所述初步触发任务确定为待处理数据同步 任务。 3.根据权利要求1所述的基于中间件的数据同步方法， 其特征在于， 所述基于中间件的 数据同步方法， 还 包括： 对所有所述任务节点中所述待同步数据任务的工作状态进行统计， 以得到任务调度 表； 根据所述任务配置更新指令， 对所述任务调度表进行 更新。 4.根据权利要求1所述的基于中间件的数据同步方法， 其特征在于， 所述基于中间件的 数据同步方法， 还 包括： 获取本地同步数据； 所述本地同步数据是 执行所述待同步数据任务后得到的数据； 判断所述本地同步数据与 所述待同步数据任务对应的任务实例是否一致， 并得到第 一 结果； 若所述第一结果表示是， 则输出同步无误 通知； 若所述第一结果表示否， 则返回所述确定同步任务组的步骤。 5.根据权利要求1所述的基于中间件的数据同步方法， 其特征在于， 所述任务配置更新 指令是根据同一数据源SQ LSERVER支持的时间戳字段类型确定的。 6.一种基于中间件的数据同步系统， 其特征在于， 所述基于中间件的数据同步系统包 括： 同步任务确定模块， 用于获取所有任务节点上的待 同步数据任务， 并确定每个所述待 同步数据任务对应的任务实例； 成组模块， 用于确定同步任务组； 所述同步任务组为对应的任务实例相同的多个待 同 步数据任务构成的数组； 同步任务更新模块， 用于针对每一所述同步任务组， 当所述同步任务组中所述待 同步 数据任务的数量大于任务数安全阈值时， 发出任务配置更新指令， 以改变所述待同步数据 任务在对应的任务节点中的工作状态； 所述工作状态包括同步状态和停止同步。权　利　要　求　书 1/2 页 2 CN 115145937 A 27.根据权利要求6所述的基于中间件的数据同步系统， 其特征在于， 在获取所有任务节 点上的待同步数据任务方面， 所述同步任务确定模块具体包括： 初步任务确定 子模块， 用于获取 所有任务接点上的初步触发任务； 异常检查子模块， 用于针对每个所述初步触发任务， 判断所述初步触发任务是否处于 任务异常状态； 异常通知子模块， 用于当所述初步触发任务处于任务异常状态时， 发出任务异常通知； 任务准备子模块， 用于当所述初步触发任务未处于异常状态时， 将所述初步触发任务 确定为待处 理数据同步任务。 8.根据权利要求6所述的基于中间件的数据同步系统， 其特征在于， 所述基于中间件的 数据同步系统， 还 包括： 调度统计模块， 用于对所有所述任务节点中所述待同步数据任务的工作状态进行统 计， 以得到任务调度表； 调度更新模块， 用于根据所述任务配置更新指令， 对所述任务调度表进行 更新。 9.根据权利要求6所述的基于中间件的数据同步系统， 其特征在于， 所述基于中间件的 数据同步系统， 还 包括： 本地同步数据获取模块， 用于获取本地同步数据； 所述本地同步数据是执行所述待 同 步数据任务后得到的数据； 同步前后数据判断模块， 用于判断所述本地同步数据与 所述待同步数据任务对应的任 务实例是否一 致， 并得到第一结果； 结束数据模块， 用于当所述第一结果表示是时， 输出同步无误 通知； 返回模块， 用于当所述第一结果表示否时， 返回所述确定同步任务组的步骤。 10.根据权利要求6所述的基于中间件的数据同步系统， 其特征在于， 所述任务配置更 新指令是根据同一数据源SQ LSERVER支持的时间戳字段类型确定的。权　利　要　求　书 2/2 页 3 CN 115145937 A 3