(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211149343.5 (22)申请日 2022.09.21 (71)申请人 京信数据科技有限公司 地址 528400 广东省中山市东区中山五路 57号7层 (72)发明人 王济平　黎刚　汤克云　周健雄　 刘继华　谢晓锋　 (74)专利代理 机构 深圳余梅专利代理事务所 (特殊普通 合伙) 44519 专利代理师 陈余才 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/242(2019.01) G06F 16/25(2019.01) G06F 9/54(2006.01) (54)发明名称 数据处理作业调度方法、 装置、 计算机设备 及存储介质 (57)摘要 本发明实施例公开了一种数据处理作业调 度方法、 装置、 计算机设备及存储介质， 其中方法 包括： 创建数据源； 根据数据源创建数据处理作 业； 解析数据处理作业的依赖关系并保存； 监听 是否触发数据源变化事件； 若触发数据源变化事 件， 则根据数据源的变化情况控制事件的触发频 率； 根据事件的依赖关系解析数据源变化事件， 以得到解析结果； 根据解析结果决定触发的数据 处理作业类型； 根据触发的数据处理作业类型按 照触发时机执行相应的数据处理作业。 本发明实 现了以准实时的方式去完成数据作业的调度， 且 在作业处理工具上有很大的可扩展性， 可兼容大 多数作业处理工具与逻辑， 提高系统的可扩展 性。 另外， 可避免数据处理作业的无效运行， 有效 减少了资源浪费。 权利要求书2页 说明书11页 附图7页 CN 115525680 A 2022.12.27 CN 115525680 A 1.数据处 理作业调度方法， 其特 征在于， 包括： 创建数据源； 根据数据源创建数据处 理作业； 解析数据处理作业的依赖关系并保存； 监听是否触发数据源变化事 件； 若触发数据源变化事 件， 则根据数据源的变化情况控制事 件的触发频率； 根据事件的依赖关系解析 数据源变化事 件， 以得到解析 结果； 根据解析 结果决定触发的数据处 理作业类型； 根据触发的数据处 理作业类型按照触发时机执 行相应的数据处 理作业。 2.根据权利要求1所述的数据处理作业调度方法， 其特征在于， 所述数据源包括数据库 表和消息队列。 3.根据权利要求1所述的数据处理作业调度方法， 其特征在于， 数据处理作业的类型包 括SQL语句作业、 计算引擎 运算的作业和ETL工具作业。 4.根据权利要求3所述的数据处理作业调度方法， 其特征在于， 所述解析数据处理作业 的依赖关系并保存， 包括： 确定数据处 理作业的类型； 若数据处 理作业的类型为SQ L语句作业， 则通过语法分析， 以解析 出使用到的数据源； 若数据处理作业的类型为计算引擎运算的作业， 则通过解析计算引擎的计算数据流， 以获取使用到的数据源； 若数据处理作业的类型为ETL工具作业， 则通过解析具体配置内容， 以得到使用到数据 源。 5.根据权利要求1所述的数据处理作业调度方法， 其特征在于， 所述根据 数据源的变化 情况控制事 件的触发频率， 包括： 设定触发的时间周期； 根据设定的时间周期执 行触发事 件。 6.数据处理作业调度装置， 其特征在于， 包括第一创建单元、 第二创建单元、 第一解析 单元、 监听单 元、 控制单 元、 第二解析单元、 确定单 元以及执 行单元； 所述第一创建单 元， 用于创建数据源； 所述第二创建单 元， 用于根据数据源创建数据处 理作业； 所述第一 解析单元， 用于解析 数据处理作业的依赖关系并保存； 所述监听单元， 用于监听是否触发数据源变化事 件； 所述控制单元， 用于若触发数据源变化事件， 则根据数据源的变化情况控制事件的触 发频率； 所述第二 解析单元， 用于根据事 件的依赖关系解析 数据源变化事 件， 以得到解析 结果； 所述确定单 元， 用于根据解析 结果决定触发的数据处 理作业类型； 所述执行单元， 用于根据触发的数据处理作业类型按照触发时机执行相应的数据处理 作业。 7.根据权利要求6所述的数据处理作业调度装置， 其特征在于， 所述第 一解析单元包括 确定模块、 第一 解析模块、 第二 解析模块以及第三 解析模块；权　利　要　求　书 1/2 页 2 CN 115525680 A 2所述确定模块， 用于确定数据处 理作业的类型； 所述第一解析模块， 用于若数据处理作业的类型为SQL语句作业， 则通过语法分析， 以 解析出使用到的数据源； 所述第二解析模块， 用于若数据处理作业的类型为计算引擎运算的作业， 则通过解析 计算引擎的计算数据流， 以获取使用到的数据源； 所述第三解析模块， 用于若数据处理作业的类型为ETL工具作业， 则通过解析具体配置 内容， 以得到使用到数据源。 8.根据权利要求6所述的数据处理作业调度装置， 其特征在于， 所述控制单元包括设定 模块以及执 行模块； 所述设定模块， 用于设定触发的时间周期； 所述执行模块， 用于根据设定的时间周期执 行触发事 件。 9.一种计算机设备， 其特征在于， 包括存储器、 处理器以及存储在所述存储器上并可在 所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1～5 中任意一项所述的数据处 理作业调度方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计 算机程序包括程序指 令， 所述程序指 令被处理器执行时， 使得所述处理器执行如权利要求 1 ～5任意一项所述的数据处 理作业调度方法。权　利　要　求　书 2/2 页 3 CN 115525680 A 3