(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210837084.9 (22)申请日 2022.07.15 (71)申请人 生命奇点 （北京） 科技有限公司 地址 100080 北京市海淀区苏州街3号6层 603 (72)发明人 安西平　徐辉　 (74)专利代理 机构 北京工信联合知识产权代理 有限公司 1 1266 专利代理师 王舰 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/25(2019.01) G06F 16/27(2019.01) (54)发明名称 一种数据采集方法及装置 (57)摘要 本发明公开了一种数据采集方法及装置。 其 中， 方法包括： 对采集任务进行配置， 并将配置好 的采集任务进行发布； 基于发布的采集任务， 利 用对应的数据采集工具， 从各种异构数据源增量 采集数据； 将采集到的数据存 储至业务数据库。 权利要求书2页 说明书6页 附图2页 CN 115391333 A 2022.11.25 CN 115391333 A 1.一种数据采集方法， 其特 征在于， 包括： 对采集任务进行配置， 并将配置好的采集任务进行发布； 基于发布的采集任务， 利用对应的数据采集工具， 从各种异构数据源增量采集数据； 将采集到的数据存 储至业务数据库。 2.根据权利要求1所述的方法， 其特征在于， 利用对应的数据采集工具， 从各种异构数 据源增量采集数据， 包括： 使用DataX中间件， 从各种异构数据源增量采集数据。 3.根据权利要求1所述的方法， 其特征在于， 利用对应的数据采集工具， 从各种异构数 据源增量采集数据， 包括： 使用DataX中间件， 将各种异构数据源的增量数据采集至临时表； 创建upate表、 new表和delete表； 通过将临时表的主健与md5字符串比对， 将临时表中筛选出的数据分别插入upate表、 new表和delete表； 在没有数据插 入或者插 入结束时， 将upate表、 new表和delete表删除。 4.根据权利 要求3所述的方法， 其特征在于， 使用DataX中间件， 将各种异构数据源的增 量数据采集至临时表， 包括： 基于OGG(Oracle  GoldenGate)采集技术， 通过日志的方 式识别各种异构 数据源的增量 数据， 并将识别出的增量数据采集至临时表； 基于CDC(Change  Data Capture)采集技术， 通过日志的方 式识别各种异构 数据源的增 量数据， 并将识别出的增量数据采集至临时表； 或者 基于ETL(Extraction ‑Transfor mation‑Loading)采集技术， 通过时间戳和主键的方式 识别各种异构数据源的增量数据， 并将识别出的增量数据采集至临时表。 5.一种数据采集装置， 其特 征在于， 包括： 配置及发布模块， 用于对 采集任务进行配置， 并将配置好的采集任务进行发布； 数据采集模块， 用于基于发布的采集任务， 利用对应的数据采集工具， 从各种异构数据 源增量采集数据； 数据存储模块， 用于将采集到的数据存 储至业务数据库。 6.根据权利要求5所述的装置， 其特征在于， 数据采集模块， 具体用于： 使用DataX中间 件， 从各种异构数据源增量采集数据。 7.根据权利要求5所述的装置， 其特 征在于， 数据采集模块， 具体用于： 使用DataX中间件， 将各种异构数据源的增量数据采集至临时表； 创建upate表、 new表和delete表； 通过将临时表的主健与md5字符串比对， 将临时表中筛选出的数据分别插入upate表、 new表和delete表； 在没有数据插 入或者插 入结束时， 将upate表、 new表和delete表删除。 8.根据权利要求7 所述的装置， 其特 征在于， 数据采集模块， 还具体用于： 基于OGG(Oracle  GoldenGate)采集技术， 通过日志的方 式识别各种异构 数据源的增量 数据， 并将识别出的增量数据采集至临时表； 基于CDC(Change  Data Capture)采集技术， 通过日志的方 式识别各种异构 数据源的增 量数据， 并将识别出的增量数据采集至临时表；权　利　要　求　书 1/2 页 2 CN 115391333 A 2基于ETL(Extraction ‑Transfor mation‑Loading)采集技术， 通过时间戳和主键的方式 识别各种异构数据源的增量数据， 并将识别出的增量数据采集至临时表。权　利　要　求　书 2/2 页 3 CN 115391333 A 3