(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210750912.5 (22)申请日 2022.06.29 (65)同一申请的已公布的文献号 申请公布号 CN 114840393 A (43)申请公布日 2022.08.02 (73)专利权人 杭州比智科技有限公司 地址 311121 浙江省杭州市余杭区仓前街 道仓兴路1号23幢2-4楼 (72)发明人 陈思宏　 (74)专利代理 机构 北京云科知识产权代理事务 所(特殊普通 合伙) 11483 专利代理师 张飙 (51)Int.Cl. G06F 11/30(2006.01) G06F 11/32(2006.01) G06F 16/27(2019.01) G06F 16/25(2019.01)G06F 16/23(2019.01) G06F 9/50(2006.01) G06F 9/52(2006.01) (56)对比文件 CN 110287258 A,2019.09.27 CN 10976 6330 A,2019.0 5.17 US 9955444 B1,2018.04.24 US 2022156285 A1,202 2.05.19 US 2020242131 A1,2020.07.3 0 US 2016147857 A1,2016.0 5.26 CN 106156165 A,2016.1 1.23 CN 106557364 A,2017.04.0 5 CN 114036238 A,202 2.02.11 张渊源等.JTangSync分布式异构数据同步 系统的设计与实现. 《计算机技 术与发展》 .2016, (第12期), 审查员 鲍旭恒 (54)发明名称 一种多数据源数据同步 监控方法及系统 (57)摘要 本发明公开了一种多数据源数据 同步监控 方法和系统， 包括以下步骤： S110， 根据渠道分配 生成对应同步任务； S120根据任务设置的数据来 源， 确定与之对应的处理器； S130， 将 任务交给数 据处理器进行切片； S140， 数据读取、 数据组装、 数据异步批量写入和并发控制； S150， 检查各个 切片同步数据， 是否同步完成， 当所有切片完成 则同步任务完成， 若是其中一个切片失败则整个 任务失败， 任务失败通知运维人员， 任务恢复后 通知相关人员； S160， 同步任务失败触发， 恢复告 知； S170， 同步监控平台日志， 展示所有同步任 务， 查切片能具体看到每个切片情况， 重试某个 同步任务、 某个切片、 重 置切片id段后重新同步。 权利要求书3页 说明书7页 附图3页 CN 114840393 B 2022.09.30 CN 114840393 B 1.一种多数据源数据同步 监控方法， 其特 征在于， 所述方法包括以下步骤： S110， 根据渠道分配生成对应同步任务； S120根据任务设置的数据来源， 确定与之对应的处 理器； S130， 将任务交给数据处理器进行切片； 在切片成功的情况下， 进入步骤S140， 在切片 失败的情况 下， 进入步骤S16 0； S140， 数据读取、 数据组装、 数据异步批量写入和并发控制； 在数据异步写入成功的情 况下， 进入步骤S15 0； 在数据异步写入失败的情况 下， 进入步骤S16 0； S150， 检查各个切片同步数据， 是否同步完成， 当所有切片完成则同步任务完成， 若是 其中一个切片失败则整个任务失败， 任务失败通知运维人员， 任务恢复后通知相关人员； S160， 同步任务失败触发， 恢复告知； S170， 同步监控平台日志， 展示所有同步任务， 查切片能具体看到每个切片情况， 重试 某个同步任务、 某个切片、 以及重 置切片id段后重新同步； 步骤S130中， 处理器按切片策略进行切片， 切片包括两种策略方式， 一种是等分切片， 将数据按配置对切片数据进行切片， 数据总量m条， 每切片n条， m/n=k切片， 若m%n!=0， 证明 不能整除， 切片数m/n加一存放剩余的数量； 另一种是固定切片， 按配置切片数量进 行均摊， 数据总量m条， 分n个切片， 故每个切片k条， 若m%n!=0， 证明不能整除， 再处理最后一个切片 时需要同步剩余的所有 数据； 切片与数据的联系方式如下： 在同步数据有唯一标识字段时， 给每个切片分配一段id段进 行标识并记录对应数据源的数据片段， 标识 这个切片的id段并 映射对应的源 数据， 当重试、 清理数据时可根据这个id段进 行批量清除和重新同步， 定位切 片已同步数据段SQ L， 将重试降低到m/n数据上， 其中， m是重试切片数， n是总体切片数； 任务切片到插 入目标源完成数据同步的过程包 含如下子步骤： S210， 判断是否走默认切片规则； S211， 不是默认规则根据配置 选择切片规则； S212， 根据切片策略进行切片； S213， 获取并发锁， 控制数据插 入目标的速率； S214， 并发线程数据插 入目标库中， 提高同步速度。 2.根据权利要求1所述的多数据源数据同步监控方法， 其特征在于， 所述方法还包括步 骤S180， 检查步骤S120中的未完成任务是否超时， 超时进行快速失败处理， 并提示任务异常 中断需要人为介入。 3.根据权利要求2所述的多数据源数据同步监控方法， 其特征在于， 步骤S140中， 首先 根据读取方式获取数据； 然后根据 处理器数据组装策略组装数据集合， 最后数据集进行批 量写入目标源； 读取方式包括读取表的y行到x 行使用JDBC的流式读取； 控制并发执行线程， 使用CountDownLatch计数器作为临时计数器， 在结合线程池阻塞队列， 在到达并发限制时 进行阻塞等待。 4.根据权利要求3所述的多数据源数据同步监控方法， 其特征在于， 步骤S170中， 同步 监控的过程包 含如下子步骤： S310， 同步任务进入同步 流程， 记录任务 为同步中状态； S311， 按配置的切片规则进行切片， 并记录切片同步中状态； S312‑1， 完成各切片进行 数据同步；权　利　要　求　书 1/3 页 2 CN 114840393 B 2S312‑2， 若整体切片失败， 根据配置重试次数进行重试若超重试次数还是失败， 将任务 更新为失败状态， 若单个切片失败， 也进行重试若超重试次数 更新单个切片为失败状态； S313， 所有切片数据同步结束， 更新任务为同步结束状态， 记录耗时， 开始检查同步结 果； S314， 开始检查同步结果， 做预备， 获取同步检查锁， 检查任务状态是否失败， 若失败则 发送失败通知， 任务非同步结束状态中断检查； S315， 是否配置规则链； S316‑1， 获取配置的规则链； S316‑2， 获取默认的规则链； S317‑1， 按规则链， 中的检查 规则一一进行检查， 包括检查切片数量； S317‑2， 默认规则链， 只包 含检查切片的数据量在数据源和目标源中是否一 致； S318， 检查切片能走完规则链， 则证明所有规则都通过， 切片同步完成， 否则切片同步 失败； S319‑1， 切片同步完成更新切片为同步完成状态； S319‑2， 切片同步失败更新切片为同步失败状态； S320， 汇总所有切片结果； S321， 检查所有切片是否都正常通过规则链； S322‑1， 所有切片完成， 发送完成结果； S322‑2， 所有切片存在未完成， 发送未完成结果； S323， 根据通知策略通知处理人， 若是所有切片完成， 且该任务曾经有发过失败通知， 此次发送恢复通知， 若没有发过失败通知则根据配置决定是否发送完成通知； 若是存在未 完成， 判断是否在3 0分钟内已经发过失败通知， 若是不处 理， 若不是则发送失败通知。 5.一种多数据源数据同步监控系统， 其特征在于， 所述系统包括任务分配模块、 任务切 片模块、 数据同步模块、 任务状态汇总模块、 平台手动重试模块和超时检查模块7个部分组 成， 所述系统用于实现根据权利要求1 ‑4任一项所述的方法。 6.根据权利要求5所述的多数据源数据同步监控系统， 其特征在于， 所述任务分配模块 实现的功能在于接收各业务平台的同步数据消息进行任务归类分派， 包括步骤S110， 根据 渠道分配生成对应同步任务， 和S120， 根据任务设置的数据来源， 决定走哪个处 理器。 7.根据权利要求6所述的多数据源数据同步监控系统， 其特征在于， 任务切片模块执行 步骤S130的切片任务， 处理器按切片策略进行切片， 在同步数据有唯一序列标识的情况下， 则给每个切片分配一段id段进 行标识并记录对应数据源的数据片段， 标识 这个切片的id段 并映射对应的源数据， 在没有需要结合游标和切片数据量标识切片同步的数据段的情况 下， 两个策略方式根据数据源的特性进行独特 搭配完成数据段与切片的关联。 8.根据权利要求7所述的多数据源数据同步监控系统， 其特征在于， 任务状态汇总模块 执行步骤S150， 检查各个切片同步数据， 是否同步完成， 当所有切片完成则同步任务完成， 若是其中一个切片失败则整个任务失败， 任务失败进行失败提示， 任务恢复后进行恢复提 示。 9.根据权利要求8所述的多数据源数据同步监控系统， 其特征在于， 告警模块执行步骤 S160， 同步任务失败触发， 恢复告知； 平台手动重试模块执行步骤S170， 同步监控平台日志，权　利　要　求　书 2/3 页 3 CN 114