(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211083260.0 (22)申请日 2022.09.06 (71)申请人 宁波数益工联科技有限公司 地址 315048 浙江省宁波高新区新材 料创 新中心东区2幢20号1 1-10 (72)发明人 廖斌　宿文　何盛华　安艳　 (74)专利代理 机构 浙江素豪律师事务所 3 3248 专利代理师 徐芙姗 (51)Int.Cl. G06F 16/21(2019.01) G06F 16/22(2019.01) G06F 16/242(2019.01) G06F 16/27(2019.01) (54)发明名称 一种工业数据存储系统、 电子 设备及存储介 质 (57)摘要 本发明提供一种工业数据存储系统、 电子设 备及存储介质， 其中， 系统包括： 为了应对多场景 数据库存储， 数据库提供了两种查询引擎， 一种 针对事务型数据存储场景使用， 另一种针对海量 分析型场景进行优化。 根据表使用的引擎类型， 可以自动选择查询引擎进行计算， 底层数据存储 引擎分为三种， 第一种为事务型， 第二种为时序 型， 第三种为分析型。 可以根据需求， 多引擎之间 使用可以通过raft协议进行数据同步， 底层复用 通用的存储结果， 数据可 以保存在文件中， 也可 以保存在文件存储中。 本发明提出的方案， 打造 统一SQL层接口层， 用户通过统一的SQL语言和数 据库进行交互， 减少了数据交互的复杂度； 数据 库实现了读写分离， 计算和存 储分离。 权利要求书2页 说明书6页 附图2页 CN 115422162 A 2022.12.02 CN 115422162 A 1.一种工业数据存储系统， 其特征在于， 所述系统包括： 写入模块、 查询模块、 存储引擎 模块和大 数据系统模块； 所述写入模块负责接收外部数据的写入， 进行分布式事务处理， 并把所述外部数据写 入到所述存 储引擎模块； 所述存储引擎模块负责分区数据的保存和持久化， 为所述写入模块提供了存储写入接 口， 以及为所述 查询模块 提供了查询接口； 所述查询模块通过所述存储引 擎模块提供的查询接口在所述存储引擎模块中进行数 据查询； 所述大数据系统模块负责对接大数据生态系统， 向大数据生态系统 的客户端返回所述 存储引擎模块中的数据。 2.根据权利要求1所述的一种工业数据存储系统， 其特征在于， 所述分布式事务的方法 包括： 每次数据写入都是事务， 在一个事务开始 的时候， 往所述存储引擎模块中写入一条记 录， 所述记录叫做事务记录， 所述事务记录用于记录事务标识； 所述事务的状态称为事务状 态， 所述事务状态包括 等待、 提交和取消三种状态。 3.根据权利要求2所述的一种工业数据存储系统， 其特征在于， 所述写入模块的写入处 理过程包括： 事务开始时， 写入一条有所述事务状态的事务记录， 并把所述事务状态记录成等待状 态； 事务完成后把所述事务状态记录成提交状态， 将数据通过raft写入到所述存储引擎模 块的多个分区中， raft执 行成功后， 向客户端返回成功的信息； 如果事务取消， 把所述事务状态 记录成取消状态， 并向客户端返回错 误的信息 。 4.根据权利要求1所述的一种工业数据存储系统， 其特征在于， 所述存储引擎模块包 括： 事务存 储引擎、 列存 储引擎和时序存 储引擎； 所述存储引擎模块的存 储过程包括： 写入事务存储时， 所述事务存储引擎将数据同时写入到WAL和内存的跳跃表中， 数据定 时刷到磁 盘， 并构建索引， 生产数据文件； 写入到列存储时， 所述列存储引擎把数据写入内存LSM树形结构中， 数据定期刷新到磁 盘中， 同时构建索引， 生产数据文件； 写入到时序存储时， 所述 时序存储引擎把数据放到 内存结构中， 数据定期刷新到磁盘， 同时构建倒排索引， 生产数据文件； 生产数据文件后， 压缩器定期对小于预设大小的数据文件进行对合并压实， 生产预定 义大小的数据文件， 并将预定义大小的数据上传到兼容的对 象存储中进行保存和备份， 当 本地数据损坏时， 支持 从所述对象存 储中恢复数据。 5.根据权利要求4所述的一种工业数据存储系统， 其特征在于， 在所述存储引擎模块中 进行数据查询， 所述存 储引擎模块的查询处 理过程包括： 查询所述事务存储引擎时， 事务模型通过索引 检索对应的数据， 同时将数据和数据文 件进行合并， 返回合并后的结果； 查询所述列存储引擎 时， 通过搜索文件， 将数据加载到内存中， 如果所述搜索文件的查权　利　要　求　书 1/2 页 2 CN 115422162 A 2询参数有聚合 函数， 则进行 数据的预聚合； 查询所述 时序存储引擎 时， 通过倒排索引， 检索出对应的数据和数据文件， 并将数据加 载到内存中， 如果 查询参数有聚合 函数， 则进行 数据的预聚合。 6.根据权利要求1所述的一种工业数据存储系统， 其特征在于， 所述查询模块通过所述 存储引擎模块 提供的查询接口在所述存 储引擎模块中进行 数据查询的方法包括： 所述查询模块收到SQL语句后， 通过语法解析器对SQL语句进行分析， 构建出逻辑执行 计划， 并对所述逻辑执行计划进 行计算合并优化后， 构建出物理执行计划， 根据所述物理执 行计划， 对预定义 查询语句使用对应的存 储引擎执 行返回数据； 所述存储引擎模块返回数据后， 数据根据物 理执行计划， 继续进行优化和计算， 向客户 端返回最终的数据。 7.根据权利要求6所述的一种工业数据存储系统， 其特征在于， 所述对预定义查询语句 使用对应的存 储引擎执 行返回数据的方法包括： 如果查询语句中带有时间， 则使用时序存储引擎进行计算， 并根据索引返回数据， 并根 据下推的算子进行初步计算； 如果数据不带有时间， 但是带有聚合函数， 则按照列存储引擎进行检索数据， 并根据 下 推的算子进行计算； 如果数据既不带有时间， 也不带有聚合函数， 则对事务引擎进行查询， 根据索引返回数 据。 8.根据权利要求6所述的一种工业数据存储系统， 其特征在于， 所述数据根据物理执行 计划， 继续进行优化和计算的方法包括： 如果是列存储引擎和时序存储引擎返回的数据， 使用MPP引擎进行查询， 使用SIMD指令 集进行优化， 加速大量数据的计算； 如果是事务存储引擎返回的数据， 事务存储引擎存储的数据通过事务查询引擎进行查 询， 不使用SIMD 指令集进行加速 。 9.一种电子设备， 其特征在于， 包括存储器和处理器， 所述存储器上存储有计算机程 序， 该计算机程序被所述处理器执行时， 执行如权利要求1至8任意一项所述的一种工业数 据存储系统中的方法。 10.一种存储介质， 其特征在于， 该存储介质存储的计算机程序， 能够被一个或多个处 理器执行， 能够用来实现如权利要求1至8中任一项所述的一种工业数据存储系统中的方 法。权　利　要　求　书 2/2 页 3 CN 115422162 A 3