(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111574203.8 (22)申请日 2021.12.21 (71)申请人 烟台战歌电子有限公司 地址 264000 山东省烟台市莱山区澳 柯玛 大街附5-7号 (72)发明人 叶明国　李娟　陈记忠　张凯　 (74)专利代理 机构 上海塔科专利代理事务所 (普通合伙) 31380 代理人 班日华 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06F 16/172(2019.01) G06F 16/182(2019.01)G06F 16/215(2019.01) G06F 16/22(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) (54)发明名称 一种用电大数据存储系统、 预测算法及可视 化展示平台 (57)摘要 本发明涉及大数据存储及处理技术领域， 具 体为一种用电大数据存储系统、 预测算法及可视 化展示平台， 建立用电数据存储和处理模型， 实 现对大规模用电数据的存储、 异常检测和趋势预 测， 利用Flink流处理组件， 结合孤 立森林算法和 Holt‑Winters算法， 实现对实时用电数据的异常 检测和用电趋势的预测。 集 成多种先进的大数据 组件， 搭建用于用电数据存储和分析的大数据平 台， 具备存储海量原始数据的能力； 较强的横向 扩展能力； 高性能分布式数据计算能力； 实时的 数据可视化功能， 利用企业级BI可视化程序 Superset对用电指标进行实时展示。 权利要求书2页 说明书6页 附图4页 CN 114219165 A 2022.03.22 CN 114219165 A 1.一种用电大 数据存储系统， 其特 征在于， 包括： 构建用电大 数据分布式存 储模型： 采用大数据框架构建数据湖存 储系统； 采用Sqoop作 为传统数据与数据湖存储系统之间 的传输通道， 将历史数据通过Sqoop导 入到数据湖存 储系统中； 采用Flume和Kafka构造多源数据传输通道， 以使得多个用电数据源并行地将用电数据 传输到数据湖存 储系统； 对用电数据进行分层清洗： 采用分布式数据库Hive和分布式文件系统HDFS对数据进行 清洗， 使用数据分层结构将原 始数据与服 务数据解耦， 以使得每一层只处 理简单的任务。 2.根据权利要求1所述的一种用电大数据存储系统， 其特征在于： 采用Hive和HBase作 为用电数据湖存储系统， Hive可将SQL语 法转换为map ‑reduce任务， 调用集群资源在HDFS上 搜索数据， 采用HBase存 储流式用电负载 数据。 3.根据权利要求1所述的一种用电大数据存储系统， 其特征在于： 所述数据分层结构包 括， 原始数据层OD S， 用于存放原 始数据， 直接加载用电设备原 始数据； 明细数据层DWD， 用于对原 始数据进行清洗； 服务数据层DWS， 用于对用电数据指标 轻度汇总； 数据主题层DWT， 用于按照不同用电设备的不同用电指标， 对数据按 主题汇总； 数据应用层AD S， 用于为各种统计报表提供 数据。 4.根据权利要求1所述的一种用电大数据存储系统， 其特征在于： 采用Tez引擎代替 Hive默认的查询引擎Map  Reduce， 以使得 可将多个有依赖的作业 转换成一个作业。 5.一种用电大 数据预测算法， 其特 征在于， 包括： 采用Flink流处理框架对实时数据进行异常检测， 采用Spark分布式计算框架， 设计机 器学习算法， 对数据湖存储系统中导入的历史数据进行批处理分析， 以获取用电设备 的用 电特征； 分析用电特 征规律， 以获取用电设备的运作健康状态； 利用获取的用电设备的运作健康状态， 预测未来的用电趋势； 当实际用电与预测趋势存在较大差异时， 则可认为当前用电设备有出现故障的可能。 6.根据权利要求5所述的一种用电大数据预测算法， 其特征在于， 将孤立森林算法融入 Flink流处理框架， 对n个数据样本， 将其路径长度记为h(n),则其平均路径长度c(n)为： 其中， H(i)＝ln(i)+C， C为欧拉常数， 通过归一化处理， 可得到介于0 ‑1之间的数即为被 检测样本的异常 分值， 异常指数 可表示为： 其中， E(h(x))为对给定值的路径长度的期望， s(x,n)表示对该值所对应的路径归一 化， 通过上述步骤， 即可算出某一时刻用电数据的异常指数(0 ‑1)， 异常判断函数如下：权　利　要　求　书 1/2 页 2 CN 114219165 A 27.根据权利要求5所述的一种用电大数据预测算法， 其特征在于， 根据历史 的用电数据 建立Holt ‑Winters预测 模型： 将具体的的线性趋势、 季节性趋势和随机变动的用电数据时 间序列进行分解， 并与指数平滑法结合， 分别对长期趋势、 季节性趋势和随机变动做出估 计， 建立预测模型， 模型的初始值计算公式如下： bt＝0， (t＝1,2,L,) Holt‑Winters乘法模型基本公式为： 其中， Xt为t时刻的观测值； St为t时刻的稳定成分； It为t时刻的季节成分； bt为t时刻的 趋势成分； Ft+m为m时刻的预测值； m为预期的期数； L为季节长度； α， β， γ∈[0,1]为平滑指 数； 通过历史的用电数据预测出 未来一段时间的用电趋势。 8.一种用电大数据可视化展示平台， 其特征在于， 将数据湖存储系统中分析后的数据 与Superset对接： 在创建Hive表的同时， 关联HBase表， 将HBase中的数据映射到 Hive表中。 9.根据权利要求8所述的一种用电大数据可视化展示平台， 其特征在于， 基于数据应用 层ADS依次执行步骤： 创建数据源连接； 连接数据 表； 图表类型选择； 字段提取； 条件过滤； 执 行查询； 生成图表。权　利　要　求　书 2/2 页 3 CN 114219165 A 3