(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210640346.2 (22)申请日 2022.06.07 (71)申请人 北京一流科技有限公司 地址 100083 北京市海淀区王庄路1号院2 号楼4层5 -E-1 (72)发明人 李新奇　张建浩　韩彬彬　 (74)专利代理 机构 北京金讯知识产权代理事务 所(特殊普通 合伙) 11554 专利代理师 黄剑飞 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 流式数据处理系统中的内存缩减决策系统 及其方法 (57)摘要 本公开涉及一种流式数据处理系统中的内 存缩减决策系统和方法。 所述系统包括： 内存分 配查询组件， 在数据内存分配准备节 点在运行时 请求分配内存时， 获取内存分配器的内存池是否 存在满足所述数据内存分配准备节点所需要的 连续内存空间； 等待逻辑节点构建组件， 在内存 分配查询组件查询获得存分配器的内存池的任 意连续内存空间都不满足所述数据内存分配准 备节点所需要的内存尺寸时， 构建等待逻辑节点 发送到数据内存分配准备节点所在的内存准备 任务流， 以便所述等待逻辑节 点轮询任务流计算 引擎已经插入的需要使用所述内存池的内存空 间的所有计算逻辑节点执行状态， 并在等待逻辑 节点完成等待执行发出完成的状态消息； 以及内 存分配器缩减接口组件， 在获得等待逻辑节点执 行完成的消息时， 执 行内存池的缩减。 权利要求书2页 说明书7页 附图3页 CN 115033379 A 2022.09.09 CN 115033379 A 1.一种流式数据处 理系统中的内存 缩减决策系统， 包括： 任务流计算引擎， 随着任务的执行， 在将任务所包含的计算逻辑节点任务插入其所属 对应的任务流中时， 确认所要插入的计算逻辑节 点是否为数据内存分配准备节 点， 如果是， 则将数据内存分配准备节点插入对应的内存准备任务流中， 如果不是， 则直接将计算逻辑 节点插入到其所属的任务 流中； 内存分配查询组件， 部署在内存分配器中， 在数据内存分配准备节点在运行时请求分 配内存时， 获取内存分配器的内存池是否存在 满足所述数据内存分配准备节点所需要的连 续内存空间； 等待逻辑节点构建组件， 在内存分配查询组件查询获得存分配器的内存池的任意连续 内存空间都不满足所述数据内存分配准备节点所需要的内存尺寸时， 构建等待逻辑节点并 由任务流计算引擎将所构建的等待逻辑节点发送到数据内存分配准备节点所在的内存准 备任务流， 以便所述等待逻辑节点轮询任务流计算引擎已经插入的需要使用所述内存池的 内存空间的所有计算逻辑节点执行状态， 并在等待逻辑节点 获知需要使用所述内存池的内 存空间的所有计算逻辑节点执 行结束消息时， 完成等待执 行， 内存分配器缩减接口组件， 在获得等待逻辑节点执行完成的消息时， 执行内存池的缩 减， 从而能够为所述数据内存分配准备节点准备符合其所需要的尺寸的内存的连续内存空 间。 2.根据权利要求1所述的流式数据处理系统中的内存缩减决策系统， 其中所述内存分 配查询组件在获取内存分配器的内存池存在满足所述数据内存分配准备节点所需要的连 续内存空间时， 由内存分配器从所述内存池为所述数据内存分配准备节点分配连续内存空 间， 以便所述数据内存分配准备节点对应的启动计算逻辑节点向所分配的连续内存空间存 取数据。 3.根据权利要求1所述的流式数据处理系统中的内存缩减决策系统， 其中所述任务流 计算引擎将所接 收到的所有数据内存分配准备节点插入同一个内存分配任务流中 以及将 与数据内存分配准备节点对应的启动计算逻辑节 点插入对应的启动任务流中， 从而使得数 据内存分配准备节点与对应的启动计算逻辑节点并行操作。 4.根据权利要求1所述的流式数据处理系统中的内存缩减决策系统， 其中所述内存分 配器缩减接口组件在执 行缩减之后， 重新向所属的底层系统申请内存 池。 5.根据权利要求1 ‑4之一所述的流式数据处理系统中的内存缩减决策系统， 其中所述 数据内存分配准备节 点在获得所述内存分配器缩减接口组件完成缩减的消息后， 重新向内 存分配器申请用于其对应的启动计算逻辑节点所需的连续内存空间。 6.一种流式数据处 理系统中的内存 缩减决策方法， 包括： 随着任务的执行， 在通过任务流计算引擎将任务所包含的计算逻辑节点任务插入其所 属对应的任务流中时， 确认所要插入的计算逻辑节点是否为数据内存分配准备节点， 如果 是， 则将数据内存分配准备节 点插入对应的内存准备任务流中， 如果不是， 则直接将 计算逻 辑节点插 入到其所属的任务 流中； 在数据内存分配准备节点在运行时请求分配 内存时， 通过部署在内存分配器中的内存 分配查询组件获取内存分配器的内存池是否存在满足所述数据内存分配准备节点所需要 的连续内存空间； 以及权　利　要　求　书 1/2 页 2 CN 115033379 A 2在内存分配查询组件查询 获得存分配器的内存池的任意连续内存空间都不满足所述 数据内存分配准备节 点所需要的内存尺寸时， 通过等待逻辑节点构建组件构建等待逻辑节 点； 通过任务流计算引擎将所构建的等待逻辑节点发送到数据内存分配准备节点所在的 内存准备任务流， 以便所述等待逻辑节点轮询任务流计算引擎已经插入的需要使用所述内 存池的内存空间的所有计算逻辑节点执行状态， 并在等待逻辑节点 获知需要使用所述内存 池的内存空间的所有计算逻辑节点执 行结束消息时， 完成等待执 行； 在获得等待逻辑节点执行完成消息时， 内存分配器缩减接口组件执行内存池的缩减， 从而能够为所述数据内存分配准备节点 准备符合 其所需要的尺寸的内存的连续内存空间。 7.根据权利要求6所述的流式数据处理系统中的内存缩减决策方法， 其中所述内存分 配查询组件在获取内存分配器的内存池存在满足所述数据内存分配准备节点所需要的连 续内存空间时， 由内存分配器从所述内存池为所述数据内存分配准备节点分配连续内存空 间， 以便所述数据内存分配准备节点对应的启动计算逻辑节点向所分配的连续内存空间存 取数据。 8.根据权利要求6所述的流式数据处理系统中的内存缩减决策方法， 其中所述任务流 计算引擎将所接 收到的所有数据内存分配准备节点插入同一个内存分配任务流中 以及将 与数据内存分配准备节点对应的启动计算逻辑节 点插入对应的启动任务流中， 从而使得数 据内存分配准备节点与对应的启动计算逻辑节点并行操作。 9.根据权利要求6所述的流式数据处理系统中的内存缩减决策方法， 其中所述内存分 配器缩减接口组件在执 行缩减之后， 重新向所属的底层系统申请内存 池。 10.根据权利要求6 ‑9之一所述的流式数据处理系统中的内存缩减决策方法， 其还包 括： 所述数据内存分配准备节点在获得所述内存分配器缩减接口组件完成缩减的消息后， 重新向内存分配 器申请用于其对应的启动计算逻辑节点所需的连续内存空间。权　利　要　求　书 2/2 页 3 CN 115033379 A 3