(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210946169.0 (22)申请日 2022.08.08 (71)申请人 康键信息技 术 （深圳） 有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号楼A栋201室 （入驻深圳 市前海商务秘书 有限公司） (72)发明人 张程斌　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 李彩玲 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) (54)发明名称 数据同步方法、 装置、 电子设备及存 储介质 (57)摘要 本发明实施例公开了一种数据同步方法、 装 置、 电子设备及存储介质。 该方法包括： 通过对目 标关系型数据库的二进制日志进行解析， 确定所 述目标关系型数据库的目标变更数据记录； 通过 数据同步服务从所述目标关系型数据库中确定 所述目标变更数据记录对应的变更后索引数据； 将所述目标变更数据记录对应的变更后索引 数 据同步给目标分布式搜索与分析引擎数据库。 采 用本发明实施例的技术方案， 以快速完成将传统 业务数据迁移到Elasticsearch， 支持PB级别的 数据迁移， 而且能大大提高数据同步过程中的容 错性。 权利要求书2页 说明书9页 附图4页 CN 115309761 A 2022.11.08 CN 115309761 A 1.一种数据同步方法， 其特 征在于， 所述方法包括： 通过对目标关系型数据库的二进制日志进行解析， 确定所述目标关系型数据库的目标 变更数据记录； 通过数据同步服务从所述目标关系型数据库中确定所述目标变更数据记录对应的变 更后索引数据； 将所述目标变更数据记录对应的变更后索引数据同步给目标分布式搜索与分析引擎 数据库。 2.根据权利要求1所述的方法， 其特征在于， 通过对目标关系型数据库的二进制日志进 行解析， 确定所述目标关系型 数据库的目标变更 数据记录， 包括： 启动数据同步中间件对目标关系型数据库的二进制日志进行检测； 所述数据同步中间 件用于对数据库的增量日志进行解析； 通过对出现变动的二进制日志进行解析， 得到对所述目标关系型数据库进行变更操作 时的目标变更 数据记录； 其中， 所述变更操作包括以下至少一项： 增、 删、 改、 查。 3.根据权利要求2所述的方法， 其特征在于， 在得到对所述目标关系型数据库进行变更 操作时的目标变更 数据记录后， 还 包括： 将对所述目标关系型数据库进行变更操作时的目标变更数据记录推送到消息中间件， 用以使数据同步 服务顺序消费所述目标变更 数据记录 。 4.根据权利要求1所述的方法， 其特征在于， 通过数据同步服务从所述目标关系型数据 库中确定所述目标变更 数据记录对应的变更后索引数据， 包括： 对所述目标变更数据记录中因对同一索引数据执行多次变更操作而产生的各个变更 数据记录进行去重处理， 以使得针对每一个索引数据所产生的多个变更数据 记录保留距离 当前时刻最近的预设个 变更数据记录； 通过数据同步服务， 从所述目标关系型数据库中确定经去重处理后的目标变更数据记 录对应的变更后索引数据。 5.根据权利要求1或4所述的方法， 其特征在于， 将所述目标变更数据记录对应的变更 后索引数据同步给目标分布式搜索与分析引擎数据库， 包括： 从预设非关系型数据库获取目标变更数据记录对应的变更后索引数据； 所述预设非关 系型数据库存 储有预先从数据同步 服务接收的目标变更 数据记录对应的变更后索引数据； 调用目标分布式搜索与分析引擎数据库的同步索引接口， 将所述目标变更数据记录对 应的变更后索引数据同步至目标分布式搜索与分析引擎数据库。 6.根据权利要求5所述的方法， 其特征在于， 从预设非关系型数据库获取目标变更数据 记录对应的变更后索引数据， 包括： 在检测到预设非关系型数据库出现数据变动时， 从预设非关系型数据库实时获取目标 变更数据记录对应的变更后索引数据； 和/或， 按照预设时间间隔启动对预设非关系型数据库进行查询， 从预设非关系型数据 库定时获取目标变更 数据记录对应的变更后索引数据。 7.根据权利要求6所述的方法， 其特征在于， 所述预设时间间隔基于所述目标关系型数 据库的数据总量与单位时间内的数据同步量确定， 其中， 所述单位时间内的数据同步量基权　利　要　求　书 1/2 页 2 CN 115309761 A 2于目标分布式搜索与分析引擎数据库的同步索引接口 的接口性能确定 。 8.一种数据同步装置， 其特 征在于， 所述装置包括： 目标变更数据记录确定模块， 用于通过对目标关系型数据库的二进制日志进行解析， 确定所述目标关系型 数据库的目标变更 数据记录； 变更后索引数据确定模块， 用于通过数据同步服务从所述目标关系型数据库中确定所 述目标变更 数据记录对应的变更后索引数据； 变更后索引数据同步模块， 用于将所述目标变更数据记录对应的变更后索引数据同步 给目标分布式搜索与分析引擎数据库。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理装置； 存储装置， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理装置执行， 使得所述一个或多个处理装 置实现权利要求1 ‑7中任一所述的数据同步方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其特征在于， 该程序被处理装置执 行时实现权利要求1 ‑7中任一所述的数据同步方法。权　利　要　求　书 2/2 页 3 CN 115309761 A 3