(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210929797.8
(22)申请日 2022.08.04
(71)申请人 深圳市共赢晶显技 术有限公司
地址 518109 广东省深圳市龙华区大浪街
道新石社区华宁路38号港深创新园G
栋646-647
(72)发明人 叶子维
(74)专利代理 机构 北京中索 知识产权代理有限
公司 11640
专利代理师 刘洁
(51)Int.Cl.
G06F 16/27(2019.01)
G06F 16/28(2019.01)
G06F 16/25(2019.01)
G06F 16/23(2019.01)G06F 16/2453(2019.01)
G06F 16/2458(2019.01)
G06F 16/906(2019.01)
G06F 9/50(2006.01)
(54)发明名称
一种数据处 理和存储方法
(57)摘要
本发明公开一种数据处理和存储 方法, 涉及
数据处理技术领域, 解决的技术问题是数据处理
和存储, 本发明采用以下技术方案, 一种数据处
理和存储 方法, 包括以下方法: 步骤一、 在控制器
作用下从数据库中获取数据信息, 对获取到的数
据信息进行预处理; 步骤二、 将预处理后的数据
信息存储 起来, 通过HB ASE+HIVE+SPARK存储模 块
实现数据信息存储; 步骤三、 在数据存储过程中
通过软聚类算法模型实现数据信息分类, 提高数
据信息处理能力; 步骤四、 对处理后的数据信息
通过调度算法实现数据信息调度。 本发明能够提
高数据信息处理和存储能力, 提高用户利用数据
信息的能力。
权利要求书4页 说明书12页 附图7页
CN 114996362 A
2022.09.02
CN 114996362 A
1.一种数据处 理和存储方法, 其特 征在于: 包括以下 方法:
步骤一、 在控制器作用下从数据库中获取数据信息, 对获取到的数据信息进行预处理,
并控制数据库数据信息的持续 性读入和读出, 不断对数据库中的数据信息进行 更新;
步骤二、 将预处理后的数据信息存储起来, 通过HBASE+HIVE+SPARK存储模块实现数据
信息存储, 其中HBASE+HIVE+S PARK存储模块内设置流 量计算模块和并行计算模块;
步骤三、 在数据存储过程中通过软聚类算法模型实现数据信息分类, 提高数据信息处
理能力;
步骤四、 对处理后的数据信息通过调度算法实现数据信息调度, 未调度的数据信息被
存储起来, 处理后的数据信息被传递。
2.根据权利要求1所述的一种数据处理和存储方法, 其特征在于: 控制器为ARM32位的
CortexTM‑M3 CPU处理器。
3.根据权利要求1所述的一种数据处理和存储方法, 其特征在于: 不断对数据库中的数
据信息进行更新的方法为: 设置数据输入间隔时间, 通过数据协议识别数据传输过程中的
数据信息, 并通过 数据过滤模块对数据库中的数据信息过 滤。
4.根据权利要求1所述的一种数据处理和存储方法, 其特征在于: HBASE+HIVE+SPARK存
储模块包括HBASE模块、 HIVE模块和S PARK模块。
5.根据权利要求4所述的一种数据处理和存储方法, 其特征在于: HBASE+HIVE+SPARK存
储模块实现数据存 储的方法为:
(1) 数据信息写入: 首 先通过文件信息进行 数据信息写入, 在不同数据库的客户端中,
通过调用函数实现数据信息的调用, 将接收到的数据信息不同文件信息输出到HBASE、
HIVE或者SPARK数据库中, FSData Output Stream 将接收到的文件信息分成若干个小包,
在不同数据库的数据节点之间实现数据信息的交 互;
(2) 数据信息的读取, 通过调用open函数, 向与该数据函数互通的架构节点发出数据读
取请求, 通过 各个数据库内设置的元 数据节点, 能够获取文件内部蕴含的数据块信息;
(3) 数据存储, 在进行数据存储时, 调取区块的数据程序, 当前的区块数据流断开后, 通
过选择数据节点获取 数据块, 然后调取cl ose函数阻断当前的数据流完成数据的存 储。
6.根据权利要求1所述的一种数据处理和存储方法, 其特征在于: 流量计算模块为多数
据流协同计算模块, 实现方法为:
步骤一、 建立数据流协同计算模型, 分别在HBASE模块、 HIVE模块和SPARK模块中计算
多数据流 量数据信息, 如公式 (1) 所示:
(1)
在公式 (1) 中,
表示多数据流量数据信息输出模型,
表示数据更新函数,权 利 要 求 书 1/4 页
2
CN 114996362 A
2表示计算次数,
表示计算总数,
表示数据更新函数有效角度,
表
示在时间
下的数据通信 协议更新参数;
表示多数据流量数据信息库;
表示多数据流
量数据信息库中的信息种类;
步骤二、 构建全局函数;
(2)
在公式 (2) 中,
表示全局函数输出值,
表示全局函数工作过程中的稳定性系
数,
和
为不同数据库信息下的数据参数;
步骤三、 构建本地 函数数据信息, 如公式 (3) 所示:
(3)
在公式 (3) 中,
表示滑动窗口中数据的内积,
表示数据流的条 数。
7.根据权利要求1所述的一种数据处理和存储方法, 其特征在于: 并行计算模块包括数
据特征提取模块、 HBASE模块接口、 HBASE模块接口、 SPARK模块接口、 时序匹配模块、 缓冲器
SN74LVTH16245、 DSP TMS320C6713、 CY7C1061 SRAM模块和AM29LV800B FLASH模块, 其中时
序匹配模块设置有相关系数。
8.根据权利要求7 所述的一种数据处 理和存储方法, 其特 征在于: 相关系数函数为:
(4)
在公式 (4) 中,
表示滑动窗口中数据的内积;
表示相关系数方阵的空间转换系
数, 将
阵阶数抽象成到一个计算网格之中, 配置相关系数, 得到特定滑动窗口, 设置线程
块索引方式, 对这8条数据流相关系数方阵索引, 在所有线程块中, 使用
个线程并行
计算方式, 对应滑行窗口中的
个数据位积, 采用协议算法计算滑行窗口中的
个位积之和, 并分段累加, 得到
, 由任意数据流中相关系数获取最终数值; 当线程块中
行、 列索引存在数值关系, 即行索引≤列索引时, 线程块将不在下三角数 组中; 通过公式 (4)
中的直线表达式
, 精确计算数据流的多数据流相关系数。
9.根据权利要求1所述的一种数据处理和存储方法, 其特征在于: 软聚类算法模型的工
作方法为:
软聚类算法模型如公式 (5) 所示:权 利 要 求 书 2/4 页
3
CN 114996362 A
3
专利 一种数据处理和存储方法
安全报告 >
其他 >
文档预览
中文文档
24 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共24页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 思考人生 于 2024-02-07 20:38:16上传分享