全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210427310.6 (22)申请日 2022.04.22 (71)申请人 山东大学 地址 266237 山东省青岛市 即墨滨海路72 号 (72)发明人 申兆岩 陈泽豪 张余豪 贾智平  蔡晓军  (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 赵妍 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/27(2019.01) G06F 16/172(2019.01)G06F 16/14(2019.01) (54)发明名称 一种数据语义分离存 储方法及系统 (57)摘要 本发明提供了一种数据语义分离存储方法 及系统, 包括: 获取以太坊数据; 根据以太坊数据 的类型, 将以太坊数据插入内存组件中的相应类 型的跳表结构中; 其中, 跳表结构内存储的以太 坊数据达到容量上限时, 跳表结构会被冻结, 被 冻结的跳表结构根据存储的以太坊数据的类型, 转换为文件后写入到磁盘组件中相应类型的文 件区。 将以太坊数据分为弱相关的两类数据, 实 现了不同类型数据的独立管 理和存储, 节省了一 部分读写放大开销, 可以加速数据的入库和检索 过程。 权利要求书1页 说明书6页 附图1页 CN 114780549 A 2022.07.22 CN 114780549 A 1.一种数据语义分离存 储方法, 其特 征在于, 包括: 获取以太坊数据; 根据以太坊数据的类型, 将以太坊数据插 入内存组件中的相应 类型的跳表结构中; 其中, 跳表结构内存储的以太坊数据达到容量上限时, 跳表结构会被冻结, 被冻结的跳 表结构根据存储的以太坊数据 的类型, 转换为文件后写入到磁盘组件中相应类型的文件 区。 2.如权利要求1所述的一种数据语义分离存储方法, 其特征在于, 若跳表结构被冻结, 则从内存组件中重新划分一 块区域作为 新的跳表结构以支持以太坊数据的插 入。 3.如权利要求1所述的一种数据语义分离存储方法, 其特征在于, 被冻结的跳表结构写 入到文件区之前, 记录被冻结的跳表结构的最小键和最大键并作为索引驻留 内存组件。 4.如权利要求1所述的一种数据语义分离存储方法, 其特征在于, 所述以太坊数据的类 型包括状态数据和非状态数据; 所述状态数据完全由账户数据构成; 所述非状态数据包 含交易区块以及所有的元 数据。 5.如权利要求1所述的一种数据语义分离存储方法, 其特征在于, 在请求一笔以太坊数 据时, 根据待查询以太坊数据的类型, 在内存组件中的相应类型的跳表结构中检索, 或在磁 盘组件中相应 类型的文件区中检索。 6.如权利要求5所述的一种数据语义分离存储方法, 其特征在于, 若在磁盘组件中相应 类型的文件区中检索, 具体方法为: 基于内存组件中的索引, 通过二分查找的方法检索磁盘 组件中的文件, 以查询请求的以太坊数据。 7.一种数据语义分离存 储系统, 其特 征在于, 包括: 数据获取模块, 其被 配置为: 获取以太坊数据; 数据存储模块, 其被配置为: 根据以太坊数据的类型, 将以太坊数据插入内存组件中的 相应类型的跳表结构中; 其中, 跳表结构内存储的以太坊数据达到容量上限时, 跳表结构会被冻结, 被冻结的跳 表结构根据存储的以太坊数据 的类型, 转换为文件后写入到磁盘组件中相应类型的文件 区。 8.如权利要求7所述的一种数据语义分离存储系统, 其特征在于, 被冻结的跳表结构写 入到文件区之前, 记录被冻结的跳表结构的最小键和最大键并作为索引驻留 内存组件。 9.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 该程序被处理器执 行时实现如权利要求1 ‑6中任一项所述的一种数据语义分离存 储方法中的步骤。 10.一种计算机设备, 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序, 其特征在于, 所述处理器执行所述程序时实现如权利要求 1‑6中任一项 所述的一 种数据语义分离存 储方法中的步骤。权 利 要 求 书 1/1 页 2 CN 114780549 A 2一种数据 语义分离存 储方法及系统 技术领域 [0001]本发明属于以太坊键值存储技术领域, 尤其涉及 一种数据语义分离存储方法及系 统。 背景技术 [0002]本部分的陈述仅仅是提供了与本发明相关的背景技术信息, 不必然构成在先技 术。 [0003]作为区块链2.0的代表作之一, 以太坊通过支持智能合约拓宽了应用场景, 使得任 何区块链平台之上 的编程成为可能。 为更好的服务于不同的应用场景, 以太坊内部维护一 个全局状态MPT(M erkle Patricia  Trie)来管理账户数据, 随着交易不断被打包进区块, 全 局状态被交易不断更新。 然而, 随着越来越多的应用建立在以太坊上, 智能合约复杂的逻 辑、 日益庞大的数据量使得以太坊的拓展变得日益艰难。 [0004]以太坊分布式应用(Decentralizat ion Applicat ion, DApp)的拓展需要 具备两个 基本条件: 1)交易打包上链低延迟; 2)交易执行高效率。 随着以太坊陆续推出的PoS(Proof   of Stake)共识协议和分片策略, 交易上链的吞吐量 问题得到了基本的解决。 然而, 海量的 数据使得交易入库速度得不到保证。 同时, 受数据库规模过大的影响, 低效的数据请求速度 也会限制DAp p的进一步拓展。 [0005]为满足以太坊海量的大数据存储和读 取需求, 以太坊底层使用基于基于日志结构 树(Log Structure  Merge, LSM)的键值数据库(Key ‑Value Store, KV  Store)来处理其写密 集型的负载。 KV  Store在内存中维护了一个庞大的缓冲池, 通过将大量的随机写转化成顺 序写的方式保证数据的写入性能。 同时, KV  Store底层存储被 设计为多层, 被写入的键值对 按照其键的字典序在每一层上全局排序, 从而保证 较低的查询开销。 [0006]然而, KV Store对海量数据的抵抗性是较弱的, 随着海量数据的不断写入, KV   Store的读写呈现出一种逐渐下滑的趋势。 其根本原因在于: (1)随着后续后台合并 (compaction)进程对海量数据的排序、 重写, 它占用了过多的CPU资源和磁盘带宽, 这一现 象随着数据规模的增大变得更加严重; (2)更倾 向于写密集型负载的KV  Store对于大量的 点查询操作表现不佳, 由于每一次查询需要按层遍历所有的数据块, 因此查询一笔数据变 得十分昂贵。 针对此类 问题, 传统的关系 型数据库通过分表、 分区、 分库实现数据的精细化 管理。 对于以太坊而言, 无冗余的对以太坊数据分布式存储势必会降低整个系统的安全性, 将数据分散存 储是一个代价高昂的办法。 发明内容 [0007]为了解决上述背景技术中存在的技术问题, 本发明提供一种数据语义分离存储方 法及系统, 将以太坊数据分为弱相关的两类数据, 实现了不同类型数据的独立管理和存储, 节省了一部分读写放大开销, 可以加速数据的入库和检索过程。 [0008]为了实现上述目的, 本发明采用如下技 术方案:说 明 书 1/6 页 3 CN 114780549 A 3

.PDF文档 专利 一种数据语义分离存储方法及系统

文档预览
中文文档 9 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共9页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种数据语义分离存储方法及系统 第 1 页 专利 一种数据语义分离存储方法及系统 第 2 页 专利 一种数据语义分离存储方法及系统 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 00:11:27上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。