(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210347737.5 (22)申请日 2022.04.01 (71)申请人 山推工程机械股份有限公司 地址 272073 山 东省济宁市高新区327国道 58号 (72)发明人 黄超　桑坤　林朋　孔凡浩　 王平平　高庆瑞　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 高艳红 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 9/445(2018.01) G06F 3/04847(2022.01) (54)发明名称 数据处理方法、 装置、 设备及存 储介质 (57)摘要 本申请公开了一种数据处理方法、 装置、 设 备及存储介质， 涉及计算机技术领域， 可 以满足 对海量车辆数据的处理需求。 该方法包括： 接收 到kafka数据时， 获取kafka数据对应的topic分 区的第一标识； 各topic分区对应不同的数据源， kafka数据为车辆数据； 根据第一标识和第一对 应关系确定至少一个第二标识和至少一个第三 标识； 第一对应关系中包括第一标识、 第二标识 以及第三标识三者的对应关系； 第二标识为逻辑 处理插件的标识， 第三标识为flink  slot的标 识； 基于至少一个第二标识对应的至少一种逻辑 处理插件和至少一个第三标识对应的至少一个 flink slot， 对kafka数据进行处 理。 权利要求书2页 说明书11页 附图4页 CN 114721799 A 2022.07.08 CN 114721799 A 1.一种数据处 理方法， 其特 征在于， 包括： 在接收到kafka数据的情况下， 获取所述kafka数据对应的topic分区的第一标识； 各 topic分区对应不同的数据源， 所述 kafka数据为车辆数据； 根据所述第 一标识和第 一对应关系确定至少一个第 二标识和至少一个第 三标识； 所述 第一对应关系中包括所述第一标识、 所述第二标识以及所述第三标识三者的对应关系； 所 述第二标识为逻辑处理插件的标识， 所述第三标识为flink  slot的标识， 一个所述第一标 识至少对应一个所述第二标识， 一个所述第三标识至少对应一个所述第二标识； 基于所述至少一个第二标识对应的至少一种所述逻辑处理插件和所述至少一个第三 标识对应的至少一个所述fl ink slot， 对所述 kafka数据进行处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 一标识和第 一对应关系确 定至少一个第二标识和至少一个第三标识之前， 所述方法还 包括： 实时对更新指令进行检测； 确定未检测到所述更新指令 。 3.根据权利要求2所述的方法， 其特征在于， 所述更新指令为通过在用户端的配置界面 中的第一配置操作触发的指 令， 所述第一配置操作至少包括： 对新增控件的选择操作， 对目 标topic分区的所述第一标识的输入操作， 对目标逻辑处理插件对应的文件包的上传操作， 对计算资源的需求量的输入操作， 以及对配置完成控件的选择操作； 所述文件包包括所述 目标逻辑处 理插件的所述第二标识； 所述方法还 包括： 基于所述第一配置操作创建计算任务。 4.根据权利要求2所述的方法， 其特征在于， 所述更新指令为通过在用户端的配置界面 中的第二配置操作触发的指 令， 所述第二配置操作至少包括： 对目标计算任务的选择操作， 对目标topic 分区的所述第一标识、 目标逻辑处理插件对应的文件包、 计算资源的需求量中 至少一项的修改操作， 以及对配置 完成控件的选择操作； 所述方法还 包括： 基于所述第二配置操作更新所述目标计算任务。 5.根据权利要求2所述的方法， 其特征在于， 所述更新指令为通过在用户端的配置界面 中的第三配置操作触发的指令， 所述第三配置操作至少包括对目标计算任务的删除操作或 者对目标计算任务的启动状态的修改操作； 所述方法还 包括： 基于所述第三配置操作删除/关闭所述目标计算任务。 6.根据权利要求2 ‑5任意一项所述的方法， 其特 征在于， 所述方法还 包括： 在确定检测到所述更新指令的情况下， 基于所述更新指令重新确定所述第一对应关 系； 根据所述第一标识和重新确定的所述第一对应关系确定至少一个所述第二标识和至 少一个所述第三标识； 基于至少一个所述第二标识对应的至少一种所述逻辑处理插件和至少一个所述第三 标识对应的至少一个所述fl ink slot， 对所述 kafka数据进行处 理。 7.根据权利 要求1所述的方法， 其特征在于， 所述逻辑处理插件的接口为基于Java  SPI 定义的标准 化接口。 8.一种数据处 理装置， 其特 征在于， 包括： 获取模块， 用于在接收到k afka数据的情况下， 获取所述k afka数据对应的topic分区的权　利　要　求　书 1/2 页 2 CN 114721799 A 2第一标识； 各topic分区对应不同的数据源， 所述 kafka数据为车辆数据； 确定模块， 用于根据 所述第一标识和第 一对应关系确定至少一个第 二标识和至少一个 第三标识； 所述第一对应关系中包括所述第一标识、 所述第二标识以及所述第三标识三者 的对应关系； 所述第二标识为逻辑处理插件的标识， 所述第三标识为flink  slot的标识， 一 个所述第一标识至少对应一个所述第二标识， 一个所述第三标识至少对应一个所述第二标 识； 处理模块， 用于基于所述至少一个第 二标识对应的至少一种所述逻辑处理插件和所述 至少一个第三标识对应的至少一个所述fl ink slot， 对所述 kafka数据进行处 理。 9.一种数据处理设备， 其特征在于， 包括存储器、 处理器、 总线和通信 接口； 所述存储器 用于存储计算机执 行指令， 所述处 理器与所述存 储器通过 所述总线连接； 当所述数据处理设备运行时， 处理器执行所述存储器存储的所述计算机执行指令， 以 使所述数据处 理设备执行如权利要求1 ‑7任意一项所述的数据处 理方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有指令， 当计算机执行所述指令时， 使得所述计算机执行如权利要求1 ‑7任意一项所述的数据处理 方法。权　利　要　求　书 2/2 页 3 CN 114721799 A 3