(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111621617.1 (22)申请日 2021.12.28 (71)申请人 世纪恒通科技股份有限公司 地址 550016 贵州省贵阳市贵阳国家高新 技术产业开发区中关村贵阳科技园核 心区南园科教街18 8号 (72)发明人 李建州　简嘹亮　杨兴海　杨兴荣　 冯江华　 (74)专利代理 机构 贵州启辰知识产权代理有限 公司 52108 代理人 邵红波 (51)Int.Cl. G06F 16/21(2019.01) G06F 9/48(2006.01) G06Q 10/10(2012.01) (54)发明名称 一种基于KETTLE的数据断点续传系统及方 法 (57)摘要 本发明公开了一种基于KETTLE的数据 断点 续传系统及方法， 包括任务 设计模块、 应用主机、 数据管理模块以及邮件通知模块， 应用主机以及 各个模块之间通过内部数据通信连接。 通过在任 务设计模块中设计KETT LE任务和转换， 发布到应 用主机的KETTLE资源库中， 并在数据管理模块上 配置迁移规则和任务调度规则， 数据管理模块根 据规则发出指令控制应用主机执行已设计的 KETTLE任务， 通过邮件 通知模块收集KETTLE任 务 执行结果， 并将结果以邮件形式发送至调度用户 邮箱， 达到离线监控的目的； 本发明可实现基于 配置的大批量数据跨库迁移断点续传， 基于通用 的规则系统和调度模型， 实现数据定时迁移的同 时， 能够恢复前一次传输的结果， 并监控整个迁 移过程。 权利要求书1页 说明书4页 附图1页 CN 114238285 A 2022.03.25 CN 114238285 A 1.一种基于KETTLE的数据断点续传系统， 其特征在于： 包括任务设计模块 （1） 、 应用主 机 （2） 、 数据管 理模块 （3） 以及邮件通知模块 （4） ， 应用主机以及各个模块之间通过内部数据 通信连接； 所述任务设计模块 （1） 用于集成KET TLE在线设计功能； 所述应用主机 （2） 用于搭建KET TLE运行的主机或服 务器； 所述数据管理模块 （3） 用于管理数据迁移规则及任务调度、 任务 监控； 所述邮件通知模块 （4） 可将任务调度执 行情况通知调度用户并实现离线监控。 2.根据权利 要求1所述的基于KETTLE的数据断点续传系统， 其特征在于： 所述的任务设 计模块 （1） 可在线设计修改KET TLE的任务及转换的脚本 。 3.根据权利 要求1所述的基于KETTLE的数据断点续传系统， 其特征在于： 所述的数据管 理模块 （3） 包括 规则配置 子模块和任务管理子模块。 4.根据权利 要求1所述的基于KETTLE的数据断点续传系统， 其特征在于： 所述的应用主 机 （2） 基于W indows server或L inux操作系统搭建KET TLE运行环境。 5.一种基于KET TLE的数据断点 续传方法， 其特 征在于， 包括以下步骤： S1、 在任务设计模块中设计KET TLE任务和转换， 并发布到应用主机的KET TLE资源库中； S2、 在数据管理模块上配置 迁移规则； S3、 在数据管理模块上配置任务调度规则， 并根据规则发起远程指令； S4、 邮件通知模块收集KETTLE任务执行结果， 并将结果以邮件形式发送至调度用户邮 箱。 6.根据权利要求5所述的基于KETTLE的数据断点续传方法， 其特征在于： 步骤S2中， 所 述的迁移规则包括单页查询记录数， 数据查询条件等， 配置的迁移规则将作为KETTLE任务 的启动参数。 7.根据权利要求5所述的基于KETTLE的数据断点续传方法， 其特征在于： 步骤S3中， 数 据管理模块根据规则发出指 令控制应用主机执行已设计的KETTLE任务， 通过设计数据检查 任务， 根据配置参数， 以及当前已迁移记录页码， 清除目标表中当前页的数据， 并从当前页 开始继续迁移实现断点 续传。权　利　要　求　书 1/1 页 2 CN 114238285 A 2一种基于KET TLE的数据断点续传系统及方 法 技术领域 [0001]本发明属于数据处理技术领域， 具体涉及一种基于KETTLE的数据断点续传系统及 方法。 背景技术 [0002]随着大数据云计算技术的发展， 企业应用集成及数据中台建设场景越来越普遍， 传统的信息化系统多数由于技 术陈旧， 无法满足新 业务增长的灵活性和实用性。 [0003]业务的发展带来了技术的革新， 也给技术带来了巨大的挑 战， 原本运行的信息化 系统通常都面临重构， 技术框架重构， 多应用集成， 形成统一的服务平台对外提供服务， 原 来的系统从各自为政到相互协调集成共用的同时， 各系统的数据也面临整合， 就需要将老 系统数据需要迁移至新的统一的业务数据库中， 大量的不在统一类型数据库中的数据需要 清洗并迁移入库， 如何在保证数据准确的情况下实现数据的跨库迁移成为迫切需要解决的 问题， 除此之外， 指定数据往 往会做增量备份， 以保证 应用重要数据的安全。 发明内容 [0004]有鉴于此， 本发明的目的是提供一种适合大批量数据迁移、 数据增量备份的支持 数据迁移过程中断后继中断时继续传输数据的系统及方法， 可以克服现有技 术的不足。 [0005]本发明的目的是通过以下技 术方案实现的： 一种基于KETTLE的数据断点续传系统， 包括任务设计模块、 应用主机、 数据管理模 块以及邮件通知模块， 应用主机以及各个模块之间通过内部数据通信连接； 所述任务设计模块用于集成KET TLE在线设计功能； 所述应用主机用于搭建KET TLE运行的主机或服 务器； 所述数据管理模块用于管理数据迁移规则及任务调度、 任务 监控； 所述邮件通知模块可将任务调度执 行情况通知调度用户并实现离线监控。 [0006]前述的任务设计模块可在线设计修改KET TLE的任务及转换的脚本 。 [0007]前述的数据管理模块包括 规则配置 子模块和任务管理子模块。 [0008]前述的应用主机基于W indows server或L inux操作系统搭建KET TLE运行环境。 [0009]一种基于KET TLE的数据断点 续传方法， 其包括以下步骤： S1、 在任务设计模块中设计KETTLE任务和转换， 并发布到应用主机的KETTLE资源 库中； S2、 在数据管理模块上配置 迁移规则； S3、 在数据管理模块上配置任务调度规则， 并根据规则发起远程指令； S4、 邮件通知模块收集KETTLE任务执行结果， 并将结果以邮件形式发送至调度用 户邮箱。 [0010]前述的数据断点续传方法， 步骤S2中， 所述的迁移规则包括单页查询记录数， 数据 查询条件等， 配置的迁移规则将作为KET TLE任务的启动参数。说　明　书 1/4 页 3 CN 114238285 A 3