(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210681132.X (22)申请日 2022.06.16 (71)申请人 深圳市普 渡科技有限公司 地址 518000 广东省深圳市南 山区西丽 街 道西丽社区打石一路深圳国际创新谷 1栋A座501 (72)发明人 曾庆勇　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 刘雪稳 (51)Int.Cl. G06F 16/25(2019.01) G06F 9/50(2006.01) (54)发明名称 数据处理方法、 统一数据处理器及可读存储 介质 (57)摘要 本申请适用于计算机技术领域， 提供了数据 处理方法、 统一数据处理器及可读存储介质， 方 法应用于统一数据处理器， 方法包括： 通过主管 理节点接收应用系统发送的计算任务并根据计 算任务确定计算信息； 根据计算任务信息和各个 计算节点的资源信息， 通过主管 理节点从多个计 算节点中确定第一目标计算节 点， 并将计算信息 发送至第一目标计算节点； 根据计算任务， 通过 第一目标计算节点从多个计算节 点和/或多个数 据源获取初始数据， 并基于初始数据进行计算完 成计算任务。 上述方法可以降低应用系统的数据 处理压力并减少数据处理过程对业务数据库数 据存储业务的影响。 权利要求书3页 说明书18页 附图7页 CN 115269696 A 2022.11.01 CN 115269696 A 1.一种数据处理方法， 其特征在于， 应用于统一数据处理器， 所述统一数据处理器包括 多个计算节点和至少一个管理节点， 至少一个所述管理节点包括一个主管理节点， 所述主 管理节点通过 统一接口与应用系统连接； 其中所述主 管理节点存储有 各个所述计算节点的 资源信息， 多个所述计算节点同步存 储有多个数据源中的数据； 所述方法包括： 通过所述主管理节点接收所述应用系统发送的计算任务并根据所述计算任务确定计 算信息； 根据所述计算任务和各个所述计算节点的资源信 息， 通过所述主管理节点从多个所述 计算节点中确定第一目标计算节点， 并将所述计算信息发送至所述第一目标计算节点； 根据所述计算任务， 通过所述第一目标计算节点从多个所述计算节点和/或多个所述 数据源获取初始数据， 并基于所述初始数据进行计算完成所述计算任务。 2.如权利要求1所述的方法， 其特征在于， 所述计算任务包括N个计算子任务， 所述计算 信息还包括所述N个计算子任务的关联关系， 每个所述计算子任务对应至少一个所述第一 目标计算节点， N 为大于1的正整数； 根据所述计算任务和各个所述计算节点的资源信 息， 通过所述主管理节点从多个所述 计算节点中确定第一目标计算节点， 包括： 根据所述N个计算子任务、 所述关联关系和各个所述计算节点的资源信息， 通过所述主 管理节点从多个所述计算节点中确定每 个所述计算子任务对应的所述第一目标计算节点。 3.如权利要求2所述的方法， 其特征在于， 其特征在于， 所述关联关系包括N个所述计算 子任务的执 行顺序； 根据所述N个计算子任务、 所述关联关系和各个所述计算节点的资源信息， 通过所述主 管理节点从多个所述计算节点中确定每个所述计算子任务对应的所述第一目标计算节点， 包括： 根据所述N个计算子任务和所述关联关系， 通过所述主管理节点确定所述计算任务所 对应的计算代价； 若所述计算代价大于预设阈值， 通过所述主管理节点按照所述执行顺序， 从多个所述 计算节点中依次为每 个所述计算子任务确定对应的所述第一目标计算节点； 其中， 在为所述N个计算子任务中的第i个所述计算子任务确定对应的所述第 一目标计 算节点时， 根据第i个所述计算子任务和所述主管理节点当前存储的各个所述计算节点的 资源信息， 通过所述主管理节点从多个所述计算节点中确定第i个所述计算子任务对应的 所述第一目标计算节点， i 为大于2的正整数； 所述主管理节点当前存储的各个所述计算节点的资源信息为， 在第i ‑1个所述计算子 任务对应的所述第一 目标计算节点执行完第i ‑1个所述计算子任务后， 通过所述主管理节 点对存储的各个所述计算节点的资源信息进行 更新得到的； 在第i个所述计算子任务确定对应的所述第一目标计算节点执行完第i个所述计算子 任务后， 通过 所述主管理节点对当前存 储的各个所述计算节点的资源信息进行 更新。 4.如权利要求1所述的方法， 其特征在于， 所述统一数据处理器还包括多个同步组件， 所述主管理节点中存 储有各个所述同步组件的任务数量； 所述方法还 包括： 通过所述主管理节点获取同步任务指令； 根据各个所述同步组件的所述任务数量， 通过所述主管理节点将所述同步任务指令发权　利　要　求　书 1/3 页 2 CN 115269696 A 2送至多个所述同步组件中的目标同步组件； 根据所述同步任务指令， 通过 所述目标同步组件确定同步任务信息； 根据所述同步任务信 息和各个所述计算节点的资源信 息， 通过所述目标同步组件从多 个所述计算节点中确定第二目标计算节点， 并将所述同步任务信息发送至所述第二目标计 算节点； 根据所述同步任务信息通过所述第二目标计算节点与多个所述数据源中的目标数据 源建立连接， 并从所述目标 数据源获取并存 储需要同步的数据。 5.如权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过所述主管理节点获取 管理任务指令； 根据所述管理任务指令， 通过 所述主管理节点确定管理任务信息； 根据所述管理任务信息， 通过 所述主管理节点执 行管理任务。 6.如权利要求1至 5任一项所述的方法， 其特 征在于， 所述方法还 包括： 通过各个所述计算节点向所述主管理节点发送自身的资源信息； 根据接收到的各个所述计算节点的资源信 息， 通过所述主管理节点对存储的各个所述 计算节点的资源信息进行 更新。 7.如权利要求1至5任一项所述的方法， 其特征在于， 至少一个所述管理节点还包括至 少一个其 他管理节点， 所述方法还 包括： 通过各个所述 其他管理节点对所述主管理节点中存 储的所述资源信息进行同步。 8.一种统一数据处理器， 其特征在于， 包括多个计算节点和至少一个管理节点， 至少一 个所述管理节点包括一个主管理节点， 所述主管理节点通过统一接口与应用 系统连接； 其 中所述主 管理节点存储有 各个所述计算节点的资源信息， 多个所述计算节点同步存储有多 个数据源中的数据， 其中： 所述主管理节点用于接收所述应用系统发送的计算任务指令并根据所述计算任务指 令确定计算任务信息； 所述主管理节点用于根据所述计算任务信 息和各个所述计算节点的资源信 息， 从多个 所述计算节点中确定第一目标计算节点， 并将所述计算任务信息发送至所述第一目标计算 节点； 所述第一目标计算节点用于根据所述计算任务信 息从多个所述计算节点和/或多个所 述数据源获取初始数据， 并基于所述初始数据进 行计算完成与所述计算任务信息对应的计 算任务。 9.如权利要求8所述的统一数据处理器， 其特征在于， 还包括多个同步组件， 所述主管 理节点中存 储有各个所述同步组件的任务数量； 其中： 所述主管理节点用于获取同步任务指令； 所述主管理节点用于根据各个所述同步组件的所述任务数量， 将所述同步任务指令发 送至多个所述同步组件中的目标同步组件； 所述目标同步组件用于根据所述同步任务指令确定同步任务信息； 所述目标同步组件用于根据 所述同步任务信 息和各个所述计算节点的资源信 息， 从多 个所述计算节点中确定第二目标计算节点， 并将所述同步任务信息发送至所述第二目标计 算节点；权　利　要　求　书 2/3 页 3 CN 115269696 A 3