(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210198267.0 (22)申请日 2022.03.01 (71)申请人 奇安信科技 集团股份有限公司 地址 100032 北京市西城区新 街口外大街 28号102号楼3层3 32号 申请人 奇安信网神信息技 术 （北京） 股份有 限公司 (72)发明人 叶盛　 (74)专利代理 机构 成都维飞知识产权代理有限 公司 5131 1 专利代理师 张巧燕 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/242(2019.01) G06F 16/2455(2019.01)G06F 16/25(2019.01) G06F 9/445(2018.01) G06F 9/54(2006.01) (54)发明名称 基于Flink平台的数据处理方法、 装置、 电子 设备和存 储介质 (57)摘要 本申请实施例提供一种基于Flink平台的数 据处理方法、 装置、 电子设备和存储介质， 方法包 括： 根据Flink平台的数据结构预设多层数据层， 所述多层数据层包括基于不同数据类型的接口； 通过所述多层数据层的不同数据类型的接口调 用相应的数据处理算子； 根据所述数据处理算子 生成数据处理任务； 将所述数据处理任务发送到 所述Flink平台进行运算。 实施本实施例， 可以基 于Flink平台实现多层级可灵活配置， 易于构建 数据处理任务。 权利要求书2页 说明书9页 附图3页 CN 114564480 A 2022.05.31 CN 114564480 A 1.一种基于Fl ink平台的数据处 理方法， 其特 征在于， 包括： 根据Flink平台的数据结构预设多层数据层， 所述多层数据层包括基于不同数据类型 的接口； 通过所述多层数据层的不同数据类型的接口调用相应的数据处 理算子； 根据所述数据处 理算子生成数据处 理任务； 将所述数据处 理任务发送到所述Fl ink平台进行运 算。 2.根据权利要求1所述的基于Flink平台的数据处理方法， 其特征在于， 所述多层数据 层包括： 原始数据层、 TableAPI层、 Fl inkSQL层和数据集层； 其中， 所述原 始数据层的接口 的数据类型为基础数据结构； 所述TableAPI层的接口 的数据类型为基于二维表的数据结构； 所述FlinkSQL层的接口的数据类型为基于数据库表的数据结构， 所述FlinkSQL层配置 有基于查询结构化 查询语言变量的执 行函数； 所述数据集层的接口 的数据类型为基于Fl ink数据集的数据结构。 3.根据权利要求2所述的基于Flink平台的数据处理方法， 其特征在于， 所述根据所述 数据处理算子生成数据处 理任务的步骤， 包括： 确定调用的数据处理算子之间的连接顺序， 根据 所述连接顺序以所述数据处理算子为 节点生成数据处理任务， 以使所述Flink平台根据所述数据处理任务中所述数据处理算子 的连接顺序进行运 算。 4.根据权利要求3所述的基于Flink平台的数据处理方法， 其特征在于， 在所述根据所 述连接顺序以所述数据处 理算子为节点 生成数据处 理任务的步骤之后， 还 包括： 根据所述原始数据层对应的数据处理算子和所述TableAPI层对应的数据处理算子的 连接方向， 在所述原始数据层 对应的数据处理算子和所述TableAPI层 对应的数据处理算子 之间加入第一插件调用模块， 以通过所述第一插件调用模块调用所述Flink平台的数据转 换插件对所述原始数据层对应的数据处理算子的输出数据或所述TableAPI层对应的数据 处理算子的输出 数据进行转换； 或者， 根据所述原始数据层对应的数据处理算子和所述FlinkSQL层对应的数据处理算子的 连接方向， 在所述原始数据层 对应的数据处理算子和所述FlinkSQL层 对应的数据处理算子 之间加入第二插件调用模块， 以通过所述第二插件调用模块调用所述Flink平台的数据转 换插件对所述原始数据层对应的数据处理算子的输出数据或所述FlinkSQL层对应的数据 处理算子的输出 数据进行转换。 5.根据权利要求1所述的基于Flink平台的数据处理方法， 其特征在于， 在所述根据所 述数据处理算子生成数据处理任务的步骤之前， 还包括： 接收配置参数， 根据所述配置参数 对所述数据处 理算子进行配置 。 6.根据权利要求2所述的基于Flink平台的数据处理方法， 其特征在于， 在所述根据所 述数据处 理算子生成数据处 理任务的步骤之前， 还 包括： 使用包装器对所述原始数据层对应的数据处理算子进行包装， 以使所述Flink平台能 够调用包装后的数据处理算子， 其中， 包装后的数据处理算子具有同步、 异 步和聚合中的至 少一种功能。权　利　要　求　书 1/2 页 2 CN 114564480 A 27.根据权利要求2所述的基于Flink平台的数据处理方法， 其特征在于， 所述原始数据 层的接口实现消息队列接口组中的消费者接口。 8.一种基于Fl ink平台的数据处 理装置， 其特 征在于， 包括： 数据层设置模块， 用于根据Flink平台的数据结构预设多层数据层， 所述多层数据层包 括基于不同数据类型的接口； 数据处理算子获取模块， 用于通过所述多层数据层的不同数据类型的接口调用相应的 数据处理算子； 数据任务 生成模块， 用于将所述数据处 理算子生成数据处 理任务； 数据任务发送模块， 用于将所述数据处 理任务发送到所述Fl ink平台进行运 算。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器以及存储在所述存储器中并可在 所述处理器上运行 的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1 ‑7 任一项所述的基于Fl ink平台的数据处 理方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有指令， 当所述指令在计算机上运行时， 使得所述计算机执行如权利要求1 ‑7任一项所述的基于 Flink平台的数据处 理方法。权　利　要　求　书 2/2 页 3 CN 114564480 A 3