(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210445195.5 (22)申请日 2022.04.26 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 (72)发明人 张浩　 (74)专利代理 机构 上海华诚知识产权代理有限 公司 313 00 专利代理师 徐乐乐 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/22(2019.01) (54)发明名称 数据处理方法、 装置、 设备、 介质和计算机程 序产品 (57)摘要 本发明涉及数据处理技术领域， 特别涉及数 据处理方法、 装置、 设备、 介质和计算机程序产 品。 本发明的方法包括： 接收待处理的数据； 将接 收到的所述数据进行逻辑拆分， 以生成一个或多 个处理任务； 将所述一个或多个处理任务分发到 一个或多个处理单元， 以进行并行处理； 从所述 一个或多个处理单元接收所述一个或多个处理 任务的处理结果； 将接收到的所述一个或多个处 理任务的处理结果进行逻辑整 合， 以形成接收到 的所述数据的处理结果。 本发明能够实现对业务 处理无侵入性， 能够根据集群规模提供线性化的 批处理性能提升， 并且能够实现拆 分粒度的动态 调整。 权利要求书1页 说明书10页 附图3页 CN 115391356 A 2022.11.25 CN 115391356 A 1.一种数据处 理方法， 其特 征在于， 所述方法包括： 接收待处 理的数据； 将接收到的所述数据进行逻辑拆分， 以生成一个或多个处 理任务； 将所述一个或多个处 理任务分发到一个或多个处 理单元， 以进行并行处 理； 从所述一个或多个处 理单元接收所述 一个或多个处 理任务的处 理结果； 将接收到的所述一个或多个处理任务的处理结果进行逻辑整合， 以形成接收到的所述 数据的处 理结果。 2.根据权利要求1所述的方法， 其特征在于， 将接收到的所述数据进行逻辑拆分， 以形 成一个或多个处 理任务包括： 将接收到的所述数据逻辑拆分为一个或多个逻辑数据， 每个逻辑数据包括对应的标识 符， 并且所述标识符包括对应的逻辑数据的开始位置、 结束位置和处 理规则； 基于所述 一个或多个逻辑数据的一个或多个标识符， 生成所述 一个或多个处 理任务。 3.根据权利要求2所述的方法， 其特征在于， 每个处理单元基于对应的处理任务中的标 识符， 访问从对应的开始位置到对应的结束位置之间的对应的逻辑数据， 并且使用对应的 处理规则来处 理所述逻辑数据， 以生成所述处 理任务的处 理结果。 4.根据权利要求3所述的方法， 其特征在于， 将接收到的所述一个或多个处理任务的处 理结果进行逻辑整合， 以形成接收到的所述数据的处 理结果包括： 基于对应的处理任务中的标识符， 将所述处理任务的处理结果按照对应的开始位置和 对应的结束位置进行排序和逻辑整合， 以形成接收到的所述数据的处 理结果。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 基于接收到的所述数据的数 据类型和数据量， 确定所述 一个或多个处 理任务的任务 量。 6.根据权利要求1至4中任一项所述的方法， 其特征在于， 接收到的所述数据包括批处 理数据， 每 个批处理数据包括 一个或多个数据步， 并且 对于每个数据步进行逻辑拆分。 7.一种数据处 理装置， 其特 征在于， 所述装置包括： 数据接收单 元， 用于接收待处 理的数据； 逻辑拆分单 元， 用于将接收到的所述数据进行逻辑拆分， 以生成一个或多个处 理任务； 任务分发单元， 用于将所述一个或多个处理任务分发到一个或多个处理单元， 以进行 并行处理； 结果接收单元， 用于从所述一个或多个处理单元接收所述一个或多个处理任务的处理 结果； 逻辑整合单元， 用于将接收到的所述一个或多个处理任务的处理结果进行逻辑整合， 以形成接收到的所述数据的处 理结果。 8.一种计算机设备， 其特征在于， 所述计算机设备包括存储有计算机可执行指令的存 储器和处理器， 所述处理器被配置为执行所述指 令以实施根据权利要求 1至6中任一项所述 的数据处 理方法。 9.一种使用计算机程序编码的计算机存储介质， 其特征在于， 所述计算机程序包括指 令， 所述指令被 计算机执 行以实施根据权利要求1至 6中任一项所述的数据处 理方法。 10.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机指令， 所述计 算机指令被执 行时， 实现根据权利要求1至 6中任一项所述的数据处 理方法。权　利　要　求　书 1/1 页 2 CN 115391356 A 2数据处理 方法、 装置、 设备、 介质和计算机程序产品 技术领域 [0001]本发明涉及数据处理技术领域， 特别涉及数据处理方法、 装置、 设备、 介质和计算 机程序产品。 背景技术 [0002]目前， 当面对大数据处理场景时， 一种是使用传统的单任务 处理模式， 另一种是使 用批处理模式。 [0003]其中， 传统的单任务处理模式只能实现少量数据处理， 而批处理模式虽然可以对 数据进行批量处 理和批量上传， 但仍然无法满足海量数据的批处 理要求。 [0004]因此亟待提高海量数据的处理效率， 可以将海量数据进行逻辑拆分并且基于处理 集群实现并行处 理。 发明内容 [0005]本发明的目的在于提供数据处理方法、 装置、 设备、 介质和计算机程序产品， 能够 实现对业务处理无侵入性， 能够根据集群规模提供线性化的批处理性能提升， 并且能够实 现拆分粒度的动态调整。 [0006]本发明公开了一种数据处 理方法， 所述方法包括： [0007]接收待处 理的数据； [0008]将接收到的所述数据进行逻辑拆分， 以生成一个或多个处 理任务； [0009]将所述一个或多个处 理任务分发到一个或多个处 理单元， 以进行并行处 理； [0010]从所述一个或多个处 理单元接收所述 一个或多个处 理任务的处 理结果； [0011]将接收到的所述一个或多个处理任务的处理结果进行逻辑整合， 以形成接收到的 所述数据的处 理结果。 [0012]可选地， 将接收到的所述数据进行逻辑拆分， 以形成一个或多个处 理任务包括： [0013]将接收到的所述数据逻辑拆分为一个或多个逻辑数据， 每个逻辑数据包括对应的 标识符， 并且所述标识符包括对应的逻辑数据的开始位置、 结束位置和处 理规则； [0014]基于所述一个或多个逻辑数据的一个或多个标识符， 生成所述一个或多个处理任 务。 [0015]可选地， 每个处理单元基于对应的处理任务中的标识符， 访问从对应 的开始位置 到对应的结束位置之间的对应的逻辑数据， 并且使用 对应的处理规则来处理所述逻辑数 据， 以生成所述处 理任务的处 理结果。 [0016]可选地， 将接收到 的所述一个或多个处理任务的处理结果进行逻辑整合， 以形成 接收到的所述数据的处 理结果包括： [0017]基于对应的处理任务中的标识符， 将 所述处理任务的处理结果按照对应的开始位 置和对应的结束位置进行排序和逻辑整合， 以形成接收到的所述数据的处 理结果。 [0018]可选地， 基于接收到 的所述数据的数据类型和数据量， 确定所述一个或多个处理说　明　书 1/10 页 3 CN 115391356 A 3