(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211176805.2
(22)申请日 2022.09.26
(71)申请人 平凯星辰 (北京) 科技有限公司
地址 100192 北京市海淀区西小口路6 6号
中关村东升科技园北领地C-1楼2层
207
(72)发明人 黄文俊 王聪 黄潇 刘奇
黄东旭 崔秋
(74)专利代理 机构 北京市立方律师事务所
11330
专利代理师 张筱宁
(51)Int.Cl.
G06F 16/23(2019.01)
G06F 16/27(2019.01)
(54)发明名称
数据处理方法、 装置、 电子设备以及存储介
质
(57)摘要
本申请实施例提供了一种数据处理方法、 装
置、 电子设备 以及存储介质, 涉及计算机技术领
域。 数据处理方法包括: 扫描当前的第一时刻对
应的待处理数据; 从第一时刻开始接收更新数
据, 将所接收的多个更新数据存储至临时对象
中, 并将每一更新数据的接收时间阶段标记为第
一阶段; 当针对第一时刻对应的待处理数据扫描
完成得到全量数据时, 确定当前的第二时刻, 将
第二时刻之后接收的每一更新数据的接收时间
阶段标记为第二阶段; 从第二时刻开始, 基于临
时对象中存储的每一更新数据的接收时间阶段,
将所存储的多个更新数据与全量数据进行合并,
生成重建数据。 本申请的数据处理方法, 可以有
效保证完成数据重建任务。
权利要求书2页 说明书14页 附图6页
CN 115481129 A
2022.12.16
CN 115481129 A
1.一种数据处 理方法, 其特 征在于, 包括:
接收数据重建指令, 基于所述数据重建指令扫描当前的第一时刻对应的待处 理数据;
从所述第一时刻开始接收更新数据, 将所接收的多个更新数据存储至临时对象中, 并
将每一所述更新数据的接收时间阶段 标记为第一阶段;
当针对所述第 一时刻对应的待处理数据扫描完成得到全量数据时, 确定当前的第 二时
刻, 将所述第二时刻之后接收的每一更新数据的接收时间阶段 标记为第二阶段;
从所述第二时刻开始, 基于所述临时对象中存储的每一更新数据的接收时间阶段, 将
所存储的多个更新数据与所述全量数据进行合并, 生成重建数据。
2.根据权利要求1所述的数据处理方法, 其特征在于, 所述基于所述临时对象中存储的
每一更新数据的接 收时间阶段, 将所存储的多个更新数据与所述全量数据进行合并, 生成
重建数据, 包括:
针对所存 储的多个更新数据中的每一更新数据, 执 行如下操作, 生成所述重建数据:
若所述更新数据的接收时间阶段为第 一阶段, 则将所述更新数据合并到所述全量数据
中;
若所述更新数据的接收时间阶段为第二阶段, 则跳过 所述更新数据。
3.根据权利要求2所述的数据处理方法, 其特征在于, 所述若所述更新数据的接收时间
阶段为第一阶段, 则将所述更新数据合并到所述全量数据中包括:
所述若所述更新数据的接收时间阶段为第一阶段, 则将所述更新数据作为待合并数
据;
对所述待合并数据进行加锁;
检测所述临时对象中是否还存在针对所述更新数据的新的更新数据, 基于检测结果将
所述已加锁的待合并数据合并到所述全量数据中。
4.根据权利要求3所述的数据处理方法, 其特征在于, 所述基于检测结果将所述已加 锁
的待合并数据合并到所述全量数据中, 包括:
若所述检测结果为所述临时对象中存在针对所述更新数据的新的更新数据, 且所述新
的更新数据的接收时间阶段为第二阶段, 则跳过 所述待合并数据;
若所述检测结果为所述临时对象中不存在针对所述更新数据的新的更新数据, 则将所
述已加锁的待合并数据合并到所述全量数据中。
5.根据权利要求4所述的数据处理方法, 其特征在于, 所述将所接收的多个更新数据存
储至临时对象中, 包括:
针对每一所述更新数据, 若所述更新数据为删除数据, 则针对所述删除数据的删除指
令进行标记, 得到标记删除指令;
将与所述标记删除指令对应的更新数据存 储至所述临时对象中。
6.根据权利要求5所述的数据处理方法, 其特征在于, 所述将所述已加 锁的待合并数据
合并到所述全量数据中, 包括:
若所述待合并数据与 所述标记删除指令对应, 则将所述标记删除指令修改为所述删除
指令;
将修改后的与所述删除指令对应的待合并数据合并到所述全量数据中。
7.根据权利要求5所述的数据处理方法, 其特征在于, 所述针对所述删除数据的删除指权 利 要 求 书 1/2 页
2
CN 115481129 A
2令进行标记, 得到标记删除指令, 包括:
在所述删除指令中插 入携带有删除标识的数据, 得到所述标记删除指令 。
8.根据权利要求1至7任一项所述的数据处理方法, 其特征在于, 所述基于所述临时对
象中存储的每一更新数据的接收时间阶段, 将所存储的多个更新数据与所述全量数据进 行
合并, 生成重建数据, 包括:
将所述临时对象中存 储的更新数据划分至少两个批次的更新数据;
依次遍历每一批次的更新数据, 确定每一批次中每一更新数据的接收时间阶段;
基于每一批次的每一更新数据的接收时间阶段将所述更新数据与所述全量数据进行
合并, 生成重建数据。
9.一种数据处 理装置, 其特 征在于, 包括:
接收模块, 用于接收数据重建指令, 基于所述数据重建指令扫描当前的第一时刻对应
的待处理数据;
存储模块, 用于从所述第一时刻开始接收更新数据, 将所接收的多个更新数据存储至
临时对象中, 并将每一所述更新数据的接收时间阶段 标记为第一阶段;
标记模块, 用于当针对所述第一时刻对应的待处理数据扫描完成得到全量数据时, 确
定当前的第二时刻, 将所述第二时刻之后接收的每一更新数据的接收时间阶段标记为第二
阶段;
合并模块, 用于从所述第二时刻开始, 基于所述临时对象中存储的每一更新数据的接
收时间阶段, 将所存 储的多个更新数据与所述全量数据进行合并, 生成重建数据。
10.一种电子设备, 包括存储器、 处理器及存储在存储器上的计算机程序, 其特征在于,
所述处理器执行所述计算机程序以实现权利要求1 ‑8任一项所述数据处 理方法的步骤。
11.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序
被处理器执行时实现权利要求1 ‑8任一项所述的数据处 理方法的步骤。
12.一种计算机程序产品, 包括计算机程序, 其特征在于, 所述计算机程序被处理器执
行时实现权利要求1 ‑8任一项所述数据处 理方法的步骤。权 利 要 求 书 2/2 页
3
CN 115481129 A
3
专利 数据处理方法、装置、电子设备以及存储介质
安全报告 >
其他 >
文档预览
中文文档
23 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共23页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 思考人生 于 2024-02-07 20:38:26上传分享