(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211408583.2 (22)申请日 2022.11.10 (71)申请人 广东广宇科技发展 有限公司 地址 528200 广东省佛山市南海区桂城街 道平西上海村东平路北侧瀚天科技城 B区产业区3号楼十一楼1105-1110单 元之一 (72)发明人 庄广壬　王青霞　安通　陈建生　 邓超河　 (74)专利代理 机构 佛山市海融科创知识产权代 理事务所(普通 合伙) 44377 专利代理师 陈志超 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/23(2019.01) (54)发明名称 一种数据采集方法、 电子设备及存 储介质 (57)摘要 本申请涉及大数据技术领域， 具体提供了一 种数据采集方法、 电子设备及存储介质， 该方法 包括步骤： 根据预设的入库时间间隔周期性地采 集源数据库中的新增源数据集， 新增源数据集包 括多个具有采样时间信息的新增源 数据； 根据入 库时间间隔的数量创建对应数量的临时表； 根据 采样时间信息所在的分布区间和预设的第一并 发数量将新增源数据集中的新增源数据分别写 入对应的临时表； 根据新增源数据集的采集时间 生成关于临时表和预先创建的正式表的任务信 息； 根据任务信息将对应的临时表中的所有新增 源数据写入对应的正式表， 并在完成写入后， 删 除任务信息对应的临时表； 该方法能够有效地提 高数据采集的效率。 权利要求书2页 说明书8页 附图1页 CN 115455012 A 2022.12.09 CN 115455012 A 1.一种数据采集方法， 用于生成目标数据库， 其特征在于， 所述数据采集方法包括步 骤： S1、 根据预设的入库时间间隔周期性地采集源数据库中的新增源数据集， 所述新增源 数据集包括多个具有采样时间信息的新增源数据； S2、 根据所述入库时间 间隔的数量创建对应数量的临时表； S3、 根据所述采样时间信息所在的分布区间和预设的第 一并发数量将所述新增源数据 集中的新增源数据分别写入对应的临 时表， 所述第一并发数量为同时写入临 时表中的新增 源数据的数量； S4、 根据所述新增源数据集的采集时间生成关于临时表和预先创建的正式表的任务信 息； S5、 根据所述任务信息将对应的临时表中的所有新增源数据写入对应的正式表， 并在 完成写入后， 删除所述任务信息对应的临时表。 2.根据权利要求1所述的数据采集方法， 其特 征在于， 所述 步骤S1包括： S11、 周期性 地获取最后采集时间和当前时间的差值； S12、 若所述差值大于等于预设的入库时间间隔， 采集源数据库中的新增源数据集， 并 将所述当前时间设为 新的最后采集时间。 3.根据权利要求1所述的数据采集方法， 其特征在于， 所述任务信息包括目标临时表 名、 与所述目标临时表名对应的目标正式表名及任务状态信息， 所述 步骤S5包括以下步骤： S51、 根据所述目标临时表名将对应的临时表中的新增源数据写入至所述目标正式表 名对应的正式表中， 并根据写入进程更新所述任务状态信息； S52、 在所述任务状态信息标识写入完成时， 删除所述目标临时表名对应的临时表。 4.根据权利要求3所述的数据采集方法， 其特征在于， 所述任务状态信息为0时标识未 开始将对应的临 时表中的新增源数据写入至所述目标正式表名对应的正式表中， 所述任务 状态信息为 1时标识正在将对应的临 时表中的新增源数据写入至所述目标正式表名对应的 正式表中， 所述任务状态信息为2 时标识完成将对应的临时表中的新增源数据写入至所述 目标正式表名对应的正式表中。 5.根据权利要求3所述的数据采集方法， 其特 征在于， 所述 步骤S51包括 步骤： S511、 根据所述目标临时表名和预设的第二并发数量将对应的临时表中的新增源数据 写入至目标正式表名对应的正式表中， 并根据写入进程更新所述任务状态信息， 所述第二 并发数量 为同时写入正式表中的新增源数据的数量。 6.根据权利要求1所述的数据采集方法， 其特 征在于， 所述 步骤S3包括： S31、 根据所述采样时间信息对所述 新增源数据集中的新增源数据进行排序； S32、 根据所述采样时间信息所在的分布区间和预设的第一并发数量将排序好的新增 源数据分别写入 对应的多个临时表。 7.根据权利要求1所述的数据采集方法， 其特 征在于， 所述入库时间 间隔为10 ‑30分钟。 8.根据权利要求1所述的数据采集方法， 其特 征在于， 所述 正式表的预 先创建过程 为： 根据预设的间隔时间创建所述 正式表。 9.一种电子设备， 其特征在于， 包括处理器以及存储器， 所述存储器存储有计算机可读 取指令， 当所述计算机可读取指 令由所述处理器执行时， 运行如权利要求 1‑8任一项所述方权　利　要　求　书 1/2 页 2 CN 115455012 A 2法中的步骤。 10.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执 行时运行如权利要求1 ‑8任一项所述方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115455012 A 3