(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210642068.4 (22)申请日 2022.06.07 (71)申请人 北京一流科技有限公司 地址 100083 北京市海淀区王庄路1号院2 号楼4层5 -E-1 (72)发明人 李新奇　陈后江　 (74)专利代理 机构 北京金讯知识产权代理事务 所(特殊普通 合伙) 11554 专利代理师 黄剑飞 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/48(2006.01) (54)发明名称 多流并行数据处理中避免内存需求暴涨的 系统及其方法 (57)摘要 本公开涉及一种在多流并行数据处理中避 免内存需求暴涨的系统及其方法。 所述系统包 括： 任务流计算引擎， 随着任务的执行， 在将任务 所包含的计算逻辑节点任务插入其所属对应的 任务流中时， 确认所要插入的计算逻辑节点是否 为张量生成逻辑节点； 张量信息获取组件， 在任 务流计算引擎确认所要插入的计算逻辑节点不 是张量生 成逻辑节点时， 获取需要使用所生成的 张量的所有计算逻辑节点的信息； 以及张量释放 节点重构组件， 基于张量信息获取组件所获得信 息， 重构张量释放节点， 以便任务流计算引擎将 所重构的张量释放节点插入其所属的任务流中， 从而使得被重构的张量释放节点所在的任务流 中的其后的计算逻辑节点申请内存的执行在所 述张量释放节点完成张量释放之后。 权利要求书2页 说明书7页 附图3页 CN 114860459 A 2022.08.05 CN 114860459 A 1.一种在多流并行 数据处理中避免内存需求 暴涨的系统， 包括： 任务流计算引擎， 随着任务的执行， 在将任务所包含的计算逻辑节点任务插入其所属 对应的任务流中时， 确认所要插入的计算逻辑节 点是否为张量生成逻辑节点， 如果不是， 则 直接将计算逻辑节点插 入到其所属的任务 流中； 张量信息获取组件， 在任务流计算引擎确 认所要插入的计算逻辑节点不是张量生成逻 辑节点时， 获取需要 使用所生成的张量的所有计算逻辑节点的信息； 以及 张量释放节点重构组件， 基于张量信 息获取组件所获得信 息， 重构张量释放节点， 使得 所有任务流上需要使用所述张量的计算逻辑节点的输出端都连接到所述张量释放节点的 输入端， 并使得所述张量释放节点输出端连接到生成所述张量所的计算逻辑节点所属的任 务流中使用所述张量的计算逻辑节点和其下游计算逻辑节点之 间， 以便任务流计算引擎将 所重构的张量释放节 点插入其所属的任务流中， 从而使得被重构的张量释放节点所在的任 务流中的其后的计算逻辑节点申请内存的执 行在所述张量释放节点完成张量释放之后。 2.根据权利要求1所述的在多流并行数据处理中的避 免内存需求暴涨的系统， 其中， 所 述任务流计算引擎在所述张量被所述张量所生成的计算逻辑节点的其他下游计算逻辑节 点所使用时， 将所重构的张量释放节点紧接着插入其所属的任务流中的最后使用该张量的 计算逻辑节点之前。 3.根据权利要求1所述的在多流并行数据处理中的避 免内存需求暴涨的系统， 其中， 所 述任务流计算引擎在发射了重构的张量释放节点之后， 再次接收到针对同一张量的释放节 点时， 丢弃 该张量释放节点。 4.一种在多流并行 数据处理中的避免内存需求 暴涨的方法， 包括： 随着任务的执行， 通过任务流计算引擎在将任务所包含的计算逻辑节点任务插入其所 属对应的任务流中时， 确认所要插入的计算逻辑节点是否为张量生成逻辑节点， 如果不是， 则直接将计算逻辑节点插 入到其所属的任务 流中； 在任务流计算引擎确 认所要插入的计算逻辑节点不是张量生成逻辑节点 时， 通过张量 信息获取组件获取需要 使用所生成的张量的所有计算逻辑节点的信息； 以及 基于张量信息获取组件所获得信息， 通过张量释放节点重构组件重构张量释放节点， 使得所有任务流上需要使用所述张量的计算逻辑节点的输出端都连接到所述张量释放节 点的输入端， 并使得所述张量释放节点输出端连接到生成所述张量所的计算逻辑节点所属 的任务流中使用所述张量的计算逻辑节点和其下游计算逻辑节点之 间， 以便任务流计算引 擎将所重构的张量释放节点插入其所属的任务流中， 从而使得被重构的张量释放节点所在 的任务流中的其后的计算逻辑节点申请内存的执行在所述张量释放节点完成张量释放之 后。 5.根据权利要求4所述的在多流并行数据处理中的避免内存需求暴涨的方法， 其还包 括： 所述任务流计算引擎在所述张量被所述张量所生成的计算逻辑节点的其他下游计算 逻辑节点所使用时， 将所重构的张量释放节点紧接着插入其所属的任务流中的最后使用该 张量的计算逻辑节点之前。 6.根据权利要求4所述的在多流并行数据处理中的避 免内存需求暴涨的方法， 其中， 所 述任务流计算引擎在发射了重构的张量释放节点之后， 再次接收到针对同一张量的释放节权　利　要　求　书 1/2 页 2 CN 114860459 A 2点时， 丢弃 该张量释放节点。 7.一种在多流并行 数据处理中避免内存需求 暴涨的系统， 包括： 任务流计算引擎， 随着任务的执行， 在将任务所包含的计算逻辑节点任务插入其所属 对应的任务流中时， 确认所要插入的计算逻辑节 点是否为张量生成逻辑节点， 如果不是， 则 直接将计算逻辑节点插 入到其所属的任务 流中； 张量信息获取组件， 在任务流计算引擎确 认所要插入的计算逻辑节点不是张量生成逻 辑节点时， 获取需要 使用所生成的张量的所有计算逻辑节点的信息； 以及 张量释放节点重构组件， 基于张量信 息获取组件所获得信 息， 重构张量释放节点， 使得 所有任务流上需要使用所述张量的计算逻辑节点的输出端都连接到所述张量释放节点的 输入端， 并使得所述张量释放节点输出端连接到生成所述张量所的计算逻辑节点所属的任 务流中使用所述张量的计算逻辑节点的下游计算逻辑节点的输入端， 以便任务流计算引擎 将所重构的张量释放节点插入含有使用所述张量的计算逻辑节点的任务流中， 从而使得生 成所述张量所 的计算逻辑节点所属的任务流中最后使用所述张量的计算逻辑节点之后的 计算逻辑节点申请内存的执 行在所述张量释放节点完成张量释放之后。 8.一种在多流并行 数据处理中避免内存需求 暴涨的方法， 包括： 随着任务的执行， 通过任务流计算引擎在将任务所包含的计算逻辑节点任务插入其所 属对应的任务流中时， 确认所要插入的计算逻辑节点是否为张量生成逻辑节点， 如果不是， 则直接将计算逻辑节点插 入到其所属的任务 流中； 在任务流计算引擎确 认所要插入的计算逻辑节点是张量生成逻辑节点 时， 通过张量信 息获取组件获取需要 使用所生成的张量的所有计算逻辑节点的信息； 以及 基于张量信息获取组件所获得信息， 通过张量释放节点重构组件重构张量释放节点， 使得所有任务流上需要使用所述张量的计算逻辑节点的输出端都连接到所述张量释放节 点的输入端， 并使得所述张量释放节点输出端连接到生成所述张量所的计算逻辑节点所属 的任务流中使用所述张量的计算逻辑节点的下游计算逻辑节点的输入端， 以便任务流计算 引擎将所重构的张量释放节点插入含有使用所述张量的计算逻辑节点的任务流中， 从而使 得生成所述张量所的计算逻辑节点所属的任务流中最后使用所述张量的计算逻辑节点之 后的计算逻辑节点申请内存的执 行在所述张量释放节点完成张量释放之后。权　利　要　求　书 2/2 页 3 CN 114860459 A 3