全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210201152.2 (22)申请日 2022.03.03 (71)申请人 平安壹钱包电子商务有限公司 地址 518000 广东省深圳市福田区福田街 道福华路319号兆邦基金融大厦26层 2606单元 (72)发明人 张中杰  (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 武志峰 (51)Int.Cl. G06F 9/445(2018.01) G06F 16/2453(2019.01) G06F 16/25(2019.01) (54)发明名称 任务处理方法、 装置、 计算机设备及计算机 可读存储介质 (57)摘要 本申请属于数据处理技术领域, 提供了一种 任务处理方法、 装置、 计算机设备及计算机可读 存储介质, 为了解决任务处理效率低的问题, 通 过预设任务编辑页面, 获取包含任务参数及预设 SQL任务脚本, 响应保存指令, 生成任务标识, 构 建任务标识与任务参数之间的第一匹配 关系, 及 任务标识与预设SQL任务脚本 之间的第二匹配关 系, 启动任务时, 获取任务标识, 根据第一匹配关 系, 获取任务标识对应的任务参数, 采用预设 SHELL拼接脚本将任务参数拼接成任务启动命 令, 根据第二匹配关系, 获取任务标识对应的预 设SQL任务脚本, 获取任务启动命令, 采用任务启 动命令包含的任务参数运行预设SQL任务脚本, 进行任务的执 行, 提高了任务的执 行效率。 权利要求书2页 说明书10页 附图3页 CN 114579202 A 2022.06.03 CN 114579202 A 1.一种任务处 理方法, 其特 征在于, 包括: 基于预设集成开发环境包含的预设任务编辑页面, 获取任务配置数据, 所述任务配置 数据包括用户配置的任务 参数, 及根据任务类型确定的预设SQ L任务脚本; 响应于用户保存所述任务配置数据的保存指令, 生成所述任务的任务标识, 并构建所 述任务标识与所述任务参数之间的第一匹配关系, 及构建所述任务标识与所述预设SQL任 务脚本之 间的第二匹配关系, 并将所述任务标识与所述任务参数及所述任务标识与所述预 设SQL任务脚本存 储至预设数据库; 响应于启动所述任务的确定启动指令, 获取所述任务标识, 并根据 所述第一匹配关系, 获取所述任务标识对应的任务参数, 采用预设SHELL拼接脚本将所述任务参数拼接成任务 启动命令; 根据所述第 二匹配关系, 获取所述任务标识对应的预设SQL任务脚本, 并获取所述任务 启动命令, 采用所述任务启动命令包含的任务参数运行所述预设SQL任务脚本, 进 行任务的 执行。 2.根据权利要求1所述任务处理方法, 其特征在于, 所述将所述任务标识与 所述任务参 数及所述任务标识与所述预设SQ L任务脚本存 储至预设数据库, 包括: 获取任务所属的预设任务运行环境类型, 并获取所述预设任务运行环境类型对应的预 设SQL格式配置; 采用所述预设SQL格式配置, 将所述预设SQL任务脚本进行格式化, 并将格式化后的SQL 任务脚本存 储至预设数据库。 3.根据权利要求2所述任务处理方法, 其特征在于, 所述预设任务运行环境类型包括生 产环境与测试环境。 4.根据权利要求1所述任务处理方法, 其特征在于, 任务运行的系统框架包括预设流式 任务平台与预设大数据集群, 所述根据所述第二匹配关系, 获取所述任务标识对应的预设 SQL任务脚本, 并获取 所述任务启动命令, 包括: 基于所述预设流式任务平台, 将所述任务启动命令发送至所述预设大数据集群, 其中, 所述预设流式任务平台基于预设计算引擎而构建, 所述预设计算引擎支持流式任务且支持 SQL语法; 所述预设大数据集群获取所述任务启动命令, 并获取所述任务标识, 且所述根据所述 第二匹配关系, 获取 所述任务标识对应的预设SQ L任务脚本 。 5.根据权利要求4所述任务处理方法, 其特征在于, 所述基于所述预设流式任务平台, 将所述任务启动命令发送至所述预设大 数据集群, 包括: 基于所述预设流式任务平台, 获取 所述任务 参数包含的任务 服务器单位标识; 将所述任务启动命令发送至所述任务服务器单位标识对应的任务服务器单位中的预 设大数据集群。 6.根据权利要求1所述任务处理方法, 其特征在于, 任务为数仓建模, 所述获取任务配 置数据, 包括: 获取所述数仓建模所对应的数仓类型, 并获取所述数仓类型所对应的预设SQL任务脚 本。 7.根据权利要求6所述任务处理方法, 其特征在于, 所述数仓类型包括实时数仓与离线权 利 要 求 书 1/2 页 2 CN 114579202 A 2数仓, 所述实时数仓对应基于Flink  SQL语法的预设SQL任务脚本, 所述离线数仓对应基于 Spark SQL语法的预设SQ L任务脚本 。 8.一种任务处 理装置, 其特 征在于, 包括: 第一获取单元, 用于基于预设集成开发环境包含的预设任务编辑页面, 获取任务配置 数据, 所述任务配置数据包括用户配置的任务参数, 及根据任务类型确定的预设SQL任务脚 本; 构建单元, 用于响应于用户保存所述任务配置数据的保存指令, 生成所述任务的任务 标识, 并构建所述任务标识与所述任务参数之间的第一匹配关系, 及构建所述任务标识与 所述预设SQL任务脚本之间的第二匹配关系, 并将所述任务标识与所述任务参数及所述任 务标识与所述预设SQ L任务脚本存 储至预设数据库; 第二获取单元, 用于响应于启动所述任务的确定启动指令, 获取所述任务标识, 并根据 所述第一匹配关系, 获取所述任务标识对应的任务参数, 采用预设SHELL拼接脚本将所述任 务参数拼接成任务启动命令; 执行单元, 用于根据所述第二匹配关系, 获取所述任务标识对应的预设SQL任务脚本, 并获取所述任务启动命令, 采用所述任务启动命令包含的任务参数运行所述预设SQL任务 脚本, 进行任务的执 行。 9.一种计算机设备, 其特征在于, 所述计算机设备包括存储器以及与所述存储器相连 的处理器; 所述存储器用于存储计算机程序; 所述处理器用于运行所述计算机程序, 以执行 如权利要求1 ‑7任一项所述方法的步骤。 10.一种计算机可读存储介质, 其特征在于, 所述存储介质存储有计算机程序, 所述计 算机程序被处 理器执行时可实现如权利要求1 ‑7中任一项所述方法的步骤。权 利 要 求 书 2/2 页 3 CN 114579202 A 3

.PDF文档 专利 任务处理方法、装置、计算机设备及计算机可读存储介质

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 任务处理方法、装置、计算机设备及计算机可读存储介质 第 1 页 专利 任务处理方法、装置、计算机设备及计算机可读存储介质 第 2 页 专利 任务处理方法、装置、计算机设备及计算机可读存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:02:56上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。