全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210178557.9 (22)申请日 2022.02.24 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 舒凡  (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 赵静 (51)Int.Cl. G06F 9/445(2018.01) G06F 9/50(2006.01) (54)发明名称 数据的加载方法、 装置、 存储介质及电子装 置 (57)摘要 本发明实施例提供了一种数据的加载方法、 装置、 存储介质及电子装置, 其中, 该方法包括: 在接收到启动指令的情况下, 对目标存储器中存 储的第一目标数据按照第一预设规则执行第一 加载操作, 启动指令用于指示将目标数据加载到 目标内存中, 目标数据包括第一目标数据; 在确 定完成第一加载操作的情况下, 基于目标内存当 前剩余的容量对第二目标数据执行第二加载操 作, 第二目标数据包括当前目标存储器中存储的 数据相对于在执行第一加载操作之前目标存储 器中所存储的数据的增量数据。 通过本发明, 解 决了相关技术中存在的数据较大时容易造成内 存溢出从而导致程序性能下降的问题, 达到了提 高程序性能稳定性的效果。 权利要求书3页 说明书11页 附图3页 CN 114528052 A 2022.05.24 CN 114528052 A 1.一种数据的加载 方法, 其特 征在于, 包括: 在接收到启动指令的情况下, 对目标存储器中存储的第 一目标数据按照第 一预设规则 执行第一加载操作, 其中, 所述启动 指令用于指示将目标数据加载到目标内存中, 所述目标 数据包括所述第一目标 数据; 在确定完成所述第 一加载操作的情况下, 基于所述目标内存当前剩余的容量对第 二目 标数据执行第二加载操作, 其中, 所述第二 目标数据包括当前所述 目标存储器中存储的数 据相对于在执 行所述第一加载操作之前 所述目标存 储器中所存 储的数据的增量数据。 2.根据权利要求1所述的方法, 其特征在于, 基于所述目标内存当前剩余的容量对第 二 目标数据执行第二加载操作包括: 确定所述第二目标 数据所需占用的目标容 量; 判断所述目标容 量与所述目标内存当前剩余的容 量之间是否满足第一预设条件; 在确定所述目标容量与所述目标内存当前剩余的容量之间满足所述第一预设条件的 情况下, 对所述第二目标 数据执行所述第二加载操作。 3.根据权利要求2所述的方法, 其特征在于, 在判断所述目标容量与 所述目标内存当前 剩余的容 量之间是否满足第一预设条件之后, 所述方法还 包括: 在确定所述目标容量与所述目标内存当前剩余的容量之间不满足所述第一预设条件 的情况下, 按照预设方式持续清理所述目标内存; 在确定所述目标容量与所述目标内存清理后所剩余的容量之间满足所述第一预设条 件的情况 下, 对所述第二目标 数据执行所述第二加载操作。 4.根据权利要求3所述的方法, 其特征在于, 按照预设方式持续清理所述目标内存包括 以下至少之一: 按照预定时间跨度粒度持续清理所述目标内存; 按照预定时间顺序持续清理所述目标内存。 5.根据权利要求1 ‑4中任一项所述的方法, 其特征在于, 基于所述目标内存当前剩余的 容量对第二目标 数据执行第二加载操作包括: 基于所述目标内存当前剩余的容 量按照预设周期对第二目标 数据执行第二加载操作。 6.根据权利要求1所述的方法, 其特 征在于, 在对目标存储器中存储的第 一目标数据按照第 一预设规则执行第 一加载操作之后, 所 述方法还 包括: 记录对所述第一目标数据执行所述第一加载操作的第一时间跨度信息, 其中, 所述第 一时间跨度信息中包括的截止时间为 开始执行所述第一加载操作的时间; 在基于所述目标内存当前剩余的容量对第 二目标数据执行第 二加载操作之后, 所述方 法还包括: 记录对所述第二目标数据执行所述第二加载操作的第二时间跨度信息, 其中, 所 述第二时间跨度信息中包括的起始 时间为所述第一时间跨度信息中所包括的所述截止时 间。 7.根据权利要求1所述的方法, 其特征在于, 对目标存储器中存储的第 一目标数据按照 第一预设规则执 行第一加载操作包括: 获取时间跨度配置信息, 其中, 所述时间跨度配置信息用于指示生成所述目标数据的 时间跨度信息;权 利 要 求 书 1/3 页 2 CN 114528052 A 2基于所述时间跨度配置信息, 确定所述第一加载操作的时间跨度粒度; 按照所述时间跨度粒度将所述第一目标 数据划分为 一个或多个子目标 数据; 以所述时间跨度粒度为单位按照从后到先的顺序依次对一个或多个所述子目标数据 执行所述第一加载操作, 以将所述第一目标 数据加载至所述目标内存中。 8.根据权利要求7 所述的方法, 其特 征在于, 所述方法还 包括: 针对所述第一目标 数据中包括的每 个所述子目标 数据, 均执 行以下操作: 在加载所述子目标 数据之前, 预估所述子目标 数据的子目标容 量; 判断所述子目标容 量与所述目标内存当前剩余的容 量之间是否满足第二预设条件; 在确定所述子目标容量与所述目标内存当前剩余的容量之间满足所述第二预设条件 的情况下, 将所述子目标 数据加载到所述目标内存中; 在确定所述子目标容量与所述目标内存当前剩余的容量之间不满足所述第二预设条 件的情况下, 停止执行所述第一加载操作, 并将已加载到所述 目标内存中的数据确定为所 述第一目标 数据。 9.根据权利要求1所述的方法, 其特征在于, 在基于目标内存容量对第 二目标数据 执行 第二加载操作之后, 所述方法还 包括: 合并所述目标内存中包括的多个弹性分布式数据集RDD, 所述第二目标数据中包括多 个所述RD D。 10.根据权利要求1所述的方法, 其特征在于, 在基于所述目标内存当前剩余的容量对 第二目标 数据执行第二加载操作之后, 所述方法还 包括: 在确定所述目标存储器中的数据存在更新的情况下, 按照第 二预设规则将所述目标存 储器中包括的更新后的时间跨度与所述第一目标数据的时间跨度相同的数据加载到所述 目标内存中。 11.根据权利要求1所述的方法, 其特征在于, 在基于所述目标内存当前剩余的容量对 第二目标 数据执行第二加载操作之后, 所述方法还 包括: 在接收到目标指令的情况下, 对所述目标存储器中存储的第 三目标数据按照所述第 一 预设规则执行所述第一加载操作, 其中, 所述 目标指令是对时间跨度配置信息进行重置后 所触发的指令 。 12.一种数据的加载装置, 其特 征在于, 包括: 第一加载模块, 用于在接收到启动指令的情况下, 对目标存储器中存储的第一目标数 据按照第一预设规则执行第一加载操作, 其中, 所述启动指令用于指示将目标数据加载到 目标内存中, 所述目标 数据包括所述第一目标 数据; 第二加载模块, 用于在确定完成所述第一加载操作的情况下, 基于所述目标内存当前 剩余的容量对第二 目标数据执行第二加载操作, 其中, 所述第二 目标数据包括当前所述 目 标存储器中存储的数据相对于在执行所述第一加载操作之前所述目标存储器中所存储的 数据的增量数据。 13.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质中存储有计算机 程序, 其中, 所述计算机程序被处理器执行时实现所述权利要求 1至11任一项中所述的方法 的步骤。 14.一种电子装置, 包括存储器、 处理器以及存储在所述存储器上并可在所述处理器上权 利 要 求 书 2/3 页 3 CN 114528052 A 3

.PDF文档 专利 数据的加载方法、装置、存储介质及电子装置

文档预览
中文文档 18 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据的加载方法、装置、存储介质及电子装置 第 1 页 专利 数据的加载方法、装置、存储介质及电子装置 第 2 页 专利 数据的加载方法、装置、存储介质及电子装置 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:06:01上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。