(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210385945.4 (22)申请日 2022.04.13 (71)申请人 北京赛博云睿智能科技有限公司 地址 100000 北京市海淀区北清路10 3号3 幢一层101-1 117 (72)发明人 王军平　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 郑延斌 (51)Int.Cl. G06F 9/48(2006.01) G06F 16/36(2019.01) G06N 20/00(2019.01) (54)发明名称 一种DAG图计算分布式大数据工作流任务调 度平台 (57)摘要 本发明公开了一种DAG图计算分布式大数据 工作流任务调度平台， 包括： 大数据工作流交互 分系统， 根据DAG图描 述处理作业拓 扑， 通过可视 化交互及大数据处理， 生成可视化算法模型库； 接口标准任务管控分系统， 将程序调用接口标准 化， 通过多种运算合成独立工作流， 进行可视化 算法模型库管控； 任务计算执行引 擎分系统， 通 过高可用集群， 设置全局参数及节点自设参数， 并通过高阶函数算法， 进行弹性高吞吐的容错实 时工作流处理； 节点并行分布调度分系统， 将工 作流任务 分配到高可用集群中多个DAG图计算节 点上并行运行,进行分布式并行资源调度与任务 调度。 权利要求书3页 说明书11页 附图1页 CN 114625517 A 2022.06.14 CN 114625517 A 1.一种DAG图计算分布式大 数据工作流任务调度平台， 其特 征在于， 包括： 大数据工作流交互分系统， 根据DAG图描述处理作业拓扑， 通过可视化交互及大数据处 理， 生成可视化 算法模型库； 接口标准任务管控分系统， 将程序调用接口标准化， 通过多种运算合成独立工作流， 进 行可视化算法模型库管控； 任务计算执行引擎分系统， 通过高可用集群， 设置全局参数及节点自设参数， 并通过高 阶函数算法， 进行弹性高吞吐的容 错实时工作流处 理； 节点并行分布调度分系统， 将工作流任务分配到高可用集群中多个DAG图计算节点上 并行运行,进行分布式并行资源调度与任务调度。 2.根据权利要求1所述的一种DAG图计算分布式大数据工作流任务调度平台， 其特征在 于， 所述大 数据工作流交 互分系统包括： DAG图作业拓扑子系统， 用于通过DAG图描述处 理作业拓扑； 数据处理知识挖掘子系统， 用于通过 大数据处理， 挖掘提取 大数据规律知识； 自动生成算法模型子系统， 用于根据 大数据规律知识通过自动生成多样化的可视化算 法模型库。 3.根据权利要求1所述的一种DAG图计算分布式大数据工作流任务调度平台， 其特征在 于， 所述接口标准任务管控分系统包括： 标准化接口子系统， 用于通过程序调用接口标准化将机器学习算法的多个应用程序调 用接口标准 化； 工作流合成子系统， 用于根据调用接口标准 化， 通过多种运 算合成独立工作流； 算法库管理子系统， 用于通过算法管理控制进行 可视化算法模型库管控。 4.根据权利要求1所述的一种DAG图计算分布式大数据工作流任务调度平台， 其特征在 于， 所述任务计算执 行引擎分系统包括： 多源数据获取子系统， 用于通过多源数据输入进行多种数据源数据获取， 多种数据源 包括： 数据库输入数据源、 多任务消息队列输入数据源和多终端逻辑输入数据源； 弹性容错处理子系统， 用于通过高阶函数算法、 机器学习算法以及图形处理算法， 进行 弹性高吞吐的容 错实时工作流处 理； 数据传输输出子系统， 用于通过数据传输输出将处理后的数据输出到文件系统、 数据 仓库以及实时可视化界面。 5.根据权利要求1所述的一种DAG图计算分布式大数据工作流任务调度平台， 其特征在 于， 所述节点并行分布调度分系统包括： 提交驱动申请子系统， 用于通过提交应用程序， 调用资源调度器为驱动申请资源； 应用程序申请子系统， 用于通过主节点申请， 在驱动申请资源完成后， 向主节点为应用 程序申请资源； 执行分布调度子系统， 用于通过分布式并行计算， 进行分布式并行资源调度与任务调 度。 6.根据权利要求2所述的一种DAG图计算分布式大数据工作流任务调度平台， 其特征在 于， 所述自动生成算法模型子系统包括： 知识图谱创建单 元， 用于将大 数据规律知识， 按照节点关系规则创建知识图谱；权　利　要　求　书 1/3 页 2 CN 114625517 A 2可视化模型库单元， 用于将知识图谱创建单元知识图谱不同种类的数据可视化， 自动 交互生成可视化算法模型库； 可视化算法模型库包括： 产品可视化库、 供应链可视化库、 产 业流程可视化库、 库存可视化库、 排程可视化库、 关键设备/产线可视化库、 物料可视化库、 能耗可视化库。 7.根据权利要求3所述的一种DAG图计算分布式大数据工作流任务调度平台， 其特征在 于， 所述算法库管理子系统包括： 机器学习算法管控单元， 用于对机器学习算法进行管理控制， 包括： 分类、 回归、 聚类和 协同过滤管理控制； 特征变换维度管控单 元， 用于对特 征进行提取、 变换、 降维和选择 管理控制； 管控构建评估调整单 元， 用于对管控进行构建、 评估和调整机器学习管控工具； 保存加载模型管控单元， 用于保存及加载机器学习管控算法、 机器学习管控模型和机 器学习管控状态； 实用程序管理控制单 元， 用于对实用程序线性统计及数据处 理进行管理控制。 8.根据权利要求4所述的一种DAG图计算分布式大数据工作流任务调度平台， 其特征在 于， 所述多源数据获取子系统包括： 数据库输入数据源单元， 用于通过多种类型数据库连接数据进行多种数据源数据获 取； 消息列传输数据源单 元， 用于通过消息队列传输数据进行多种数据源数据获取； 多终端逻辑数据源单元， 用于通过多终端逻辑程序生成数据进行多种数据源数据获 取。 9.根据权利要求5所述的一种DAG图计算分布式大数据工作流任务调度平台， 其特征在 于， 所述执 行分布调度子系统包括： 资源调度分发单 元， 用于通过资源调度器把工作流任务分发到 工作节点执 行器； 集群分布计算单元， 用于在高可用集群中多个DAG图计算节点上进行分布式的并行计 算； 在高可用集群中多个DAG图计算节点上进 行分布式的并行计算包括： 所述高可用集群通 过节点分布子单元、 集群数据传输子单元以及 并行计算子单元在多个DAG图计算节点上进 行分布式的并行计算； 其中， 所述高可用集群中的服务器均为GPU并行运算服务器， 所述节 点分布子单元中的服务器均在数据库维护了对应的DAG图， 所述DAG图包括待计算节 点数据 以及与所述待计算节点数据对应的运算 阶段， 所述运算阶段包括初始运算阶段、 中间运算 阶段、 完成运算阶段以及循环 运算阶段； 节点分布子单元中的服务器在接收到计算任务时， 分别向集群数据传输子单元中的服务器并行发起调用； 其中， 所述计算任务包括周期计算 任务以及随机计算任务； 集群数据传输子单元中的服务器响应所述节点分布子单元中的服 务器发起的调用， 从与所述调用的发起方对应的DAG图中并行读取预设数量的待计算节点 数据； 其中， 在从所述DAG图中读取待计算节点数据时， 如果所述计算任务为周期计算任务， 优先读取循环运算阶段的节点数据； 如果所述计算任务为 随机计算任务， 优先读取初始运 算阶段的节点数据； 所述集群数据传输子单元中的服务器分别向并行计算子单元中的服务 器并行发起调用， 将读取到的所述预设数量的待计算节点数据下发至并行计算子单元中的 服务器， 以由所述并行计算子单元中的服务器基于接收到的所述待计算节点数据执行多线 程的并行计算；权　利　要　求　书 2/3 页 3 CN 114625517 A 3