(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211087658.1 (22)申请日 2022.09.07 (71)申请人 中国动物疫病预防控制中心 （农业 农村部屠宰技术中心） 地址 102618 北京市朝阳区麦 子店街20号 楼 (72)发明人 陈伟生　辛盛鹏　王芳　袁蕾磊　 赵子琪　刘小萱　杨龙波　郭君超　 (74)专利代理 机构 北京冬瓜知识产权代理事务 所(普通合伙) 11854 专利代理师 李佳 (51)Int.Cl. G06F 16/27(2019.01) (54)发明名称 一种实现数据库数据批流一体的同步方法 和系统 (57)摘要 本发明提供一种实现数据库数据批流一体 的同步方法和系统， 所述方法包括对 数据进行批 流一体的数据同步； 数据进行流同步的方法包 括： 打开binlog日志， 分别对源数据库以及目的 数据库进行注册、 并寻找对应的配置任务； 根据 配置任务， 将获取到的SQL信息实时发送给目的 数据库， 目的数据库将该SQL信息进行执行从而 达到源数据库对目的数据库的流同步； 数据批同 步的方法包括： 分别对源数据库以及目的数据库 进行注册、 并寻找对应的配置任务； 根据配置任 务， 将获取到的SQL信息实时发送给目的数据库， 目的数据库 将该SQL信息进行执行从而达到源数 据库对目的数据库的批同步。 本发 明方法实现数 据库数据的批流 一体同步。 权利要求书2页 说明书6页 附图3页 CN 115438124 A 2022.12.06 CN 115438124 A 1.一种实现数据库数据批流一体的同步方法， 其特征在于， 包括对数据进行流同步以 及对数据进行批同步的方法； 其中， 所述数据进行流同步的方法包括： 打开binlog日志， 分别对源数据库以及目的数 据库进行注 册、 并寻找对应的配置任务； 根据所述配置任务， 将获取到的SQL信息实时发送给目的数据库， 目的数据库将该SQL 信息进行 执行从而达 到源数据库对目的数据库的流同步； 所述数据进行批同步的方法包括： 分别对源数据库以及目的数据库进行注册、 并寻找 对应的配置任务； 根据所述配置任务， 将获取到的SQL信息实时发送给目的数据库， 目的数据库将该SQL 信息进行 执行从而达 到源数据库对目的数据库的批同步。 2.根据权利要求1所述的实现数据库 数据批流一体的同步方法， 其特征在于， 所述源数 据库以及所述目的数据库包括数据库的名称、 数据库类型、 ip地址、 端口号、 用户名、 密码以 及链接额外参数。 3.根据权利要求1所述的实现数据库 数据批流一体的同步方法， 其特征在于， 在进行流 同步的过程中， 寻找对应的配置任务方法包括： 获取源数据库中的数据库日志中的变化数据， 所述变化数据包括： 增、 删、 改； 根据变化数据中的变更的行信息和其对应的索引信息来确定为事务的变更 数据信息； 根据变更数据信息， 获知用于表示重做日志对应的事务的变化数据的变化情况， 即获 知变化数据的事务逻辑信息 。 4.根据权利要求3所述的实现数据库 数据批流一体的同步方法， 其特征在于， 将获取到 的SQL信息实时发送给目的数据库的方法包括： 根据所述事务逻辑信息， 选择对应的操作语句， 并将变化的具体数据作为SQL信息的参 数； 将事务的同步信息发送至目的数据库， 同步信息包括事务的标记信息和相应的所述 SQL信息。 5.根据权利要求4所述的实现数据库 数据批流一体的同步方法， 其特征在于， 目的数据 库将该SQ L信息进行 执行从而达 到源数据库对目的数据库的流同步的方法包括： 目的数据库根据接收到的所述标记信 息对事务进行分类， 并按照事务分类对同步信 息 进行执行， 从而达 到数据的流同步。 6.根据权利要求4所述的实现数据库 数据批流一体的同步方法， 其特征在于， 在进行批 同步的过程中， 寻找对应的配置任务方法包括： 选择源数据库需要进行同步的表， 并配置where条件， 从而达到增量同步和全量同步的 目的。 7.根据权利要求6所述的实现数据库 数据批流一体的同步方法， 其特征在于， 所述增量 同步的方法采用where 条件判断， 结合调度参数来实现数据的增量同步； 所述全量同步实现对 源数据库表中的全部历史数据进行全表查询。 8.一种实现数据库数据批流一体的同步系统， 使用 如权利要求1 ‑7任一项所述的实现 数据库数据批流 一体的同步方法， 其特 征在于， 包括： 流同步模块： 用于对数据进行流同步， 所述流同步的方法包括： 打开binlog日志， 分别权　利　要　求　书 1/2 页 2 CN 115438124 A 2对源数据库以及目的数据库进 行注册、 并寻找对应的配置任务； 根据所述配置任务， 将获取 到的SQL信息实时发送给目的数据库， 目的数据库将该SQL信息进 行执行从而达到源数据库 对目的数据库的流同步； 批同步模块： 用于对数据进行批同步， 所述批同步的方法包括： 分别对源数据库以及目 的数据库进行注册、 并寻找对应的配置任务； 根据所述配置任务， 将获取到的SQL信息实时 发送给目的数据库， 目的数据库将该SQL信息进行执行从而达到源数据库对目的数据库的 批同步。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序 执行时实 现权利要求1 ‑7任一项所述实现数据库数据批流 一体的同步方法的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7任一项所述实现数 据库数据批流 一体的同步方法的步骤。权　利　要　求　书 2/2 页 3 CN 115438124 A 3