(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210510873.1 (22)申请日 2022.05.11 (71)申请人 中国邮政 储蓄银行股份有限公司 地址 100032 北京市西城区金融大街3号 (72)发明人 胡军锋　段永政　张清　赵玉豪　 张波　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 霍文娟 (51)Int.Cl. G06F 9/54(2006.01) G06F 16/2455(2019.01) G06F 16/27(2019.01) (54)发明名称 数据同步的方法、 装置、 计算机可读存储介 质和处理器 (57)摘要 本申请提供了一种数据同步的方法、 装置、 计算机可读存储介质和处理器。 分段读取源数 据， 每一次读取一个数据段， 源数据包括多个数 据段， 每一个数据段中包括多条数据； 将多个数 据段存放在第一共享内存中； 从第一共享内存中 逐条获取数据， 且对获取到的数据逐条进行预处 理， 得到预处理后的数据， 且将预处理后的数据 逐条存放在第二共享内存中； 将第二共享内存中 的预处理后的数据写入目标数据库， 且一次写入 多条预处理后的数据。 该方案中， 数据读取、 数据 处理和数据写入可以并发执行， 在数据量较大 时， 可以分批次读取数据并写入数据， 进而解决 了现有技术中数据量大造成无法一次性全量加 载所有源数据而无法进行数据同步的问题， 提高 了数据同步的效率。 权利要求书3页 说明书12页 附图3页 CN 114860479 A 2022.08.05 CN 114860479 A 1.一种数据同步的方法， 其特 征在于， 包括： 分段读取源数据， 每一 次读取一个数据段， 所述源数据包括多个数据 段， 每一个所述数 据段中包括多条 数据； 将多个所述数据段存放在第一共享内存中； 从所述第一共享内存中逐条获取所述数据， 且对获取到的所述数据逐条进行预处理， 得到预处理后的数据， 且将所述预处理后的数据逐条存放在第二共享内存中， 所述预处理 包括压缩处 理、 加密处 理和修改处 理中的至少之一； 将所述第二共享内存中的所述预处理后的数据写入目标数据库， 且一 次写入多条所述 预处理后的数据。 2.根据权利要求1所述的方法， 其特征在于， 将多个所述数据段存放在第一共享内存 中， 包括： 逐个将所述数据段存放至第一本地缓存中； 在所述第一本地缓存中已存放的所述数据段的数量达到第 一数量的情况下， 获取所述 第一本地缓存中所述第一数量个所述数据段 所占的空间； 获取所述第一共享内存的当前空 闲容量； 根据所述第一共享内存的当前空闲容量和所述第一数量个所述数据段所占的空间之 间的大小关系， 确定是否将所述第一数量个所述数据段存放至所述第一共享内存中。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述第一共享内存的当前空闲容量和 所述第一数量个所述数据段所占的空间之 间的大小关系， 确定是否将所述第一数量个所述 数据段存放至所述第一共享内存中， 包括： 在所述第一共享内存的当前空闲容量大于或者等于所述第一数量个所述数据段所占 的空间的情况 下， 批量将所述第一数量个所述数据段存放至所述第一共享内存中； 在所述第一共享内存的当前空闲容量小于所述第 一数量个所述数据段所占的空间， 且 所述第一共享内存中存在空闲容量的情况下， 将第二数量个所述数据段存放至所述第一共 享内存中， 其中， 所述第二数量小于所述第一数量， 所述第二数量个所述数据段所占的空间 小于或者 等于所述第一共享内存的当前空 闲容量； 在所述第一共享内存不存在空 闲容量的情况 下， 暂停存放所述数据段。 4.根据权利要求1所述的方法， 其特征在于， 将所述第 二共享内存中的所述预处理后的 数据写入目标 数据库， 包括： 逐条将所述第二共享内存中的所述预处 理后的数据存放至第二本地缓存中； 在所述第二本地缓存中已存放的所述预处理后的数据的条数大于或者等于第三数量 的情况下， 将所述第二本地缓存中的多条所述预处理后的数据 组合为多个批量数据段， 依 次将多个所述批量数据段写入所述目标数据库， 各所述批量数据段中包括多 条所述预 处理 后的数据； 在所述第二本地缓存中已存放的所述预处理后的数据的数量小于所述第三数量的情 况下， 获取最短存放时间， 所述最短存放时间是指多条所述预处理后的数据在所述第二本 地缓存中存放的时间的最小值， 在所述最短存放时间大于或者等于预定时间的情况下， 将 所述第二本地缓存中的多条 所述预处 理后的数据写入所述目标 数据库。 5.根据权利要求1所述的方法， 其特征在于， 将所述预处理后的数据逐条存放在第 二共权　利　要　求　书 1/3 页 2 CN 114860479 A 2享内存中， 包括： 获取当前 条预处理后的数据所占的空间； 获取所述第二共享内存的当前空 闲容量； 在所述第二共享内存的当前空闲容量大于或者等于所述当前条预处理后的数据所占 的空间的情况 下， 将所述当前 条预处理后的数据存放在所述第二共享内存中； 在所述第二共享内存的当前空闲容量小于所述当前条预处理后的数据所占的空间的 情况下， 暂停存放所述当前 条预处理后的数据。 6.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在未能成功读取到所述数据段的情况 下， 生成结束标记； 在生成所述结束标记之后， 关闭与存储所述源数据的数据库之间的连接， 且将所述结 束标记插入至所述第一共享内存的第一预定位置的下一个位置中， 所述第一预定位置为所 述第一共享内存中存放 最后一个所述数据段中的最后一条 所述数据的位置； 在将所述第 一共享内存中除所述结束标记之外的数据都已进行预处理， 且将所有的所 述预处理后的数据都存放在第二共享内存中之后， 将所述结束标记插入至所述第二共享内 存的第二预定位置的下一个位置中， 所述第二预定位置为所述第二共享内存中存放的最后 一条所述预处 理后的数据的位置； 在将所述第二共享内存中除所述结束标记之外的所述预处理后的数据都已写入所述 目标数据库之后， 关闭所述目标 数据库的数据库连接 。 7.根据权利要求1至 5中任一项所述的方法， 其特 征在于， 所述方法还 包括： 将多个所述数据段存放在第一共享内存中， 包括： 构建数据读取线程； 采用所述数据读取线程将多个所述数据段存放在第一共享内存中； 从所述第一共享内存中逐条获取所述数据， 且对获取到的所述数据逐条进行预处理， 得到预处 理后的数据， 且将所述预处 理后的数据逐 条存放在第二共享内存中， 包括： 构建数据处 理线程； 采用所述数据处理线程从所述第 一共享内存中逐条获取所述数据， 且对获取到的所述 数据逐条进行预处理， 得到预处理后的数据， 且将所述预处理后的数据逐条存放在第二共 享内存中； 将所述第二共享内存中的所述预处理后的数据写入目标数据库， 且一 次写入多条所述 预处理后的数据， 包括： 构建数据写入线程； 采用所述数据写入线程将所述第二共享内存中的所述预处理后的数据写入目标数据 库， 且一次写入多条 所述预处 理后的数据。 8.一种数据同步的装置， 其特 征在于， 包括： 获取单元， 用于分段读取源数据， 每一次读取一个数据段， 所述源数据包括多个数据 段， 每一个所述数据段中包括多条 数据； 存放单元， 用于将多个所述数据段存放在第一共享内存中； 第一处理单元， 用于从所述第一共享内存中逐条获取所述数据， 且对获取到的所述数 据逐条进行预处理， 得到预处理后的数据， 且将所述预处理后的数据逐条存放在第二共享权　利　要　求　书 2/3 页 3 CN 114860479 A 3