(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211113252.6
(22)申请日 2022.09.14
(71)申请人 武汉奋进智能机 器有限公司
地址 430205 湖北省武汉市东湖新 技术开
发区流芳园横路16号工业机器人产业
化研发制造基地 (全部自用) 1号厂房
栋/单元/1-4层/号1楼、 3楼 (自贸区武
汉片区)
(72)发明人 李毅 李琳 尹义勇 祝博文
王鑫 李亚飞 廉冲 胡淼
吴中华
(74)专利代理 机构 北京路浩知识产权代理有限
公司 11002
专利代理师 李文清(51)Int.Cl.
G06F 16/2458(2019.01)
G06F 16/2455(2019.01)
G06F 16/27(2019.01)
H04L 67/2895(2022.01)
H04L 67/568(2022.01)
H04L 69/22(2022.01)
(54)发明名称
基于大数据云计算的时序数据处理方法及
装置
(57)摘要
本发明提供一种基于大数据云计算的时序
数据处理方法及装置, 属于数据处理技术领域,
所述方法包括: 获取各采集节点的点位时序数
据; 根据所述采集节点的设备编码, 将所述点位
时序数据缓存至分布式消息系统中预先创建的
与设备编码对应的分区; 利用大数据流式处理引
擎按照预设处理频率对所述分区内的点位时序
数据进行解析处理, 并将处理后的点位时序数据
存储到目标数据库中。 本发明提高了点位时序数
据的采集、 传输、 分析、 存储过程的处理效率, 以
便于后续对点 位时序数据的查询以及利用。
权利要求书2页 说明书8页 附图4页
CN 115391429 A
2022.11.25
CN 115391429 A
1.一种基于大 数据云计算的时序数据处 理方法, 其特 征在于, 包括:
获取各采集节点的点 位时序数据;
根据所述采集节点的设备编码, 将所述点位 时序数据缓存至分布式消息系统中预先创
建的与设备编码对应的分区;
利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进行解析
处理, 并将处 理后的点 位时序数据存 储到目标 数据库中。
2.根据权利要求1所述的基于大数据云计算的时序 数据处理方法, 其特征在于, 所述获
取各采集节点的点 位时序数据, 包括:
利用数据采集服务器接收所述点位 时序数据, 并将所述点位 时序数据转发至反 向代理
服务器; 所述 点位时序数据是由所述采集节点按照预设通讯协议发送的;
基于日志收集系统, 从所述反向代理服 务器中采集所述 点位时序数据。
3.根据权利要求2所述的基于大数据云计算的时序 数据处理方法, 其特征在于, 所述利
用数据采集服务器接收所述点位时序数据, 并将所述点位时序数据转发至反向代理服务
器, 包括:
利用所述数据采集 服务器对所述 点位时序数据进行完整性判断;
在所述数据采集服务器确定所述点位 时序数据为整包数据的情况下, 将所述点位 时序
数据转发至所述反向代理服 务器。
4.根据权利要求2所述的基于大数据云计算的时序 数据处理方法, 其特征在于, 在所述
分布式消息系统为Kafka消息集群, 所述大数据流式处理引擎为Spark Streaming的情况
下, 所述利用大数据流式处理引擎按照预设处理频率对所述分区内的点位时序数据进 行解
析处理, 并将处 理后的点 位时序数据存 储到目标 数据库中, 包括:
利用Spark Streaming按照所述预设处理频率从所述Kafka消息集群的分区中拉取所
述点位时序数据;
根据所述预设通讯协议, 对所述点位时序数据进行解析处理, 并将处理后的点位时序
数据存储到所述目标 数据库中;
所述目标 数据库至少包括以下 数据库中的一种: Redis数据库、 Hbase 数据库。
5.根据权利要求2所述的基于大数据云计算的时序 数据处理方法, 其特征在于, 按照预
设通讯协议发送的点 位时序数据包括以下 数据中的至少一项:
功能码、 数据域长度、 设备编码、 各监控点 位数据、 时间戳。
6.根据权利要求2所述的基于大数据云计算的时序 数据处理方法, 其特征在于, 所述数
据采集服务器为基于Net ty框架的集群服 务器, 所述反向代理服 务器为Nginx服务器。
7.根据权利要求2所述的基于大数据云计算的时序 数据处理方法, 其特征在于, 所述日
志收集系统为Flume。
8.一种基于大数据云计算的时序数据处理装置, 其特征在于, 包括: 采集模块, 缓存模
块, 处理模块;
其中, 采集模块, 用于获取 各采集节点的点 位时序数据;
缓存模块, 用于根据所述采集节点的设备编码, 将所述点位时序数据缓存至分布式消
息系统中预 先创建的与设备编码对应的分区;
处理模块, 用于利用大数据流式处理引擎按照预设处理频率对所述分区内的点位 时序权 利 要 求 书 1/2 页
2
CN 115391429 A
2数据进行解析处 理, 并将处 理后的点 位时序数据存 储到目标 数据库中。
9.一种电子设备, 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运
行的计算机程序, 其特征在于, 所述处理器执行所述计算机程序时实现如权利要求1至7任
一项所述基于大 数据云计算的时序数据处 理方法的步骤。
10.一种非暂态计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算
机程序被处理器执行时实现如权利要求1至7任一项所述基于大数据云计算的时序数据 处
理方法的步骤。权 利 要 求 书 2/2 页
3
CN 115391429 A
3
专利 基于大数据云计算的时序数据处理方法及装置
安全报告 >
其他 >
文档预览
中文文档
15 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 思考人生 于 2024-02-19 06:34:13上传分享