(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210883530.X (22)申请日 2022.07.26 (71)申请人 成都智元汇信息技 术股份有限公司 地址 610096 四川省成 都市吉泰五路8 8号3 栋26层1号 (72)发明人 宋志国　饶龙强　丁强　张刚　 叶超　杨飞　 (74)专利代理 机构 成都众恒智合专利代理事务 所(普通合伙) 51239 专利代理师 王育信 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/904(2019.01) G06F 3/0486(2013.01) (54)发明名称 一种基于大数据模型的物联中台系统搭建 方法 (57)摘要 本发明公开了一种基于大数据模型的物联 中台系统搭建方法， 包括以下步骤： (S1)选择消 息中间件Kafka作为数据采集和物联中台的中间 桥梁， 用于接收物联感知系统接入的设备数据； (S2)选择Flink分布式数据处理引擎对Kafka接 收的不同设备的数据进行清洗过滤、 规则匹配； (S3)选择分布式计算引擎Spark批次抽 取IoTDB 不同设备的数据； (S4)选择Atlas工具构建元数 据管理体系， 对业务元数据、 技术元数据和操作 元数据进行管理； (S5)二次开发AJ ‑Report进行 数据报表可视化展示。 本发明方法构建的物联中 台系统可扩展性和维护性更好， 比较容易扩展节 点， 且统一数据接入、 出口和使用规范， 能够适应 各个数据需求方的使用场景， 不用重复造轮子和 定制化开发， 降低人员和维护成本 。 权利要求书1页 说明书3页 附图4页 CN 115168474 A 2022.10.11 CN 115168474 A 1.一种基于大 数据模型的物联中 台系统搭建方法， 其特 征在于， 包括以下步骤： (S1)选择消息中间件Kafka作为数据采集和物联中台的中间桥梁， 用于接收物联感知 系统接入的设备 数据； (S2)选择Flink分布式数据处理引擎对Kafka接收的不同设备的数据进行清洗过滤、 规 则匹配， 并将设备数据发送到Clickhouse的设备信息表中， 设备的日志数据发送到IoTDB 中； (S3)选择分布式计算引擎Spark批次抽取IoTDB不 同设备的数据， 动态分区， 动态创建 hive表， 将数据加载到 hive用作离线分析使用， 并利用hado op的纠删码特性归档冷数据； (S4)选择Atlas工具构 建元数据管理体系， 对业务元数据、 技术元数据和 操作元数据进 行管理； (S5)二次开发AJ ‑Report进行数据报表可视化展示， 构建属于适合本中台的可拖拽、 可 快速构建物联设备 数据、 集群 状态信息的可视化展示平台。 2.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法， 其特征在于， 所述业务元数据包括数据库表和业务规则； 所述技术元数据包括数据库对 象属性、 任务执 行信息和上 下游依赖数据； 所述操作元 数据包括批处 理的执行日志和报表访问数据。 3.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法， 其特征在于， 在步骤(S2 )中， Flink分布式数据处理引擎对数据的处理过程如下： 在Kafka规则rule_ topic中解析规则字符串为可用规则， 在Kafka设备日志topic中解析日志数据需要匹配的 字段； 将解析的可用规则 及字段发送到siddhi规则引擎中， 利用flink_job根据规则匹配生 成的事件输出到Kafka_topic中。 4.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法， 其特征在于， 在步骤(S3)中， 动态分区、 动态创建hive表的过程如下： 分布式计算引擎Spark请求IoTDB得 到所有的时间序列， 对时间序列进行处理， 除 “_”下划线之外的所有符号都替换为下划线； spark sql根据表名和时间端where过去取得的数据， 根据查询的DataFrame  schema和存在 的hive表的sch ema比较是否发生了schema的变化， 如果发生变化， 则根据变化后的schema， 同表名+n后缀新建表， 随后， spark  DataFrame根据p_date字段分区， 通过算子saveAs   Table`写hive表； 如果没发生变化， 则直接根据spark  DataFrame根据p_date字段分区， 通 过算子saveAs  Table`写hive表。 5.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法， 其特征在于， 在步骤(S5)中， 可视化展示品台的构建方法如下： 登录ar ‑report web页面， 添加数据源， 新 建dashboard， 拖拽可视化的图表组件， 再利用图表组件绑定数据源即可。权　利　要　求　书 1/1 页 2 CN 115168474 A 2一种基于大数据模型的物联中台系统搭建 方法 技术领域 [0001]本发明属于计算机领域， 具体地说， 是一种基于大数据模型的物联中台系统搭建 方法。 背景技术 [0002]随着经济社会的高速发展， 科学技术的进步， 人们在联网科技设备上交流越来越 频繁， 产生的数据信息越来越多， 为了利用好数据， 充分发挥数据的价值， 大数据技术就是 在这一环境下的技 术产物。 [0003]万物互联的时代， 用户通过物联网技术来实现人与物、 物与物之间的链接和数据 交换与控制， 并利用信息和 通信技术来提升物联技术的功 能。 人们可以使用智能装置和感 知技术， 采集装置数据， 同时通过技 术手段， 实现对物理世界的控制， 辅助做出明智的决策。 [0004]使用物联网技术能够收集、 转发终端设备的实时数据， 然后使用大数据技术对海 量数据进行转换、 存 储、 分析， 为管理者 提供有效地数据支撑， 并发现问题， 解决问题。 [0005]传统的物联网中台架构无法满足海量数据的存储和查询分析， 扩展性比较差， 对 数据的多样式存 储不能很好的满足且系统的稳定性和实时性得不到保证。 发明内容 [0006]本发明的目的在于提供一种基于大数据模型的物联中台系统搭建方法， 主要解决 现有物联网中 台架构扩展性差及系统无法 保证稳定性和实时性的问题。 [0007]为实现上述目的， 本发明采用的技 术方案如下： [0008]一种基于大 数据模型的物联中 台系统搭建方法， 包括以下步骤： [0009](S1)选择消息中间件Kafka作为数据采集和物联中台的中间桥梁， 用于接收物联 感知系统接入的设备 数据； [0010](S2)选择Flink分布式数据处理引擎对Kafka接 收的不同设备的数据进行清洗过 滤、 规则匹配， 并将设备数据发送到Clickhouse的设备信息表中， 设备的日志数据发送到 IoTDB中； [0011](S3)选择分布式计算引擎Spark批次抽取IoTDB不同设备 的数据， 动态分区， 动态 创建hive表， 将数据加载到hive用作离线分析使用， 并利用hadoop的纠删码特性归档冷数 据； [0012](S4)选择Atlas工具构建元数据管理体系， 对业务元数据、 技术元数据和操作元数 据进行管理； [0013](S5)二次开发AJ ‑Report进行数据报表可视化展示， 构建属于适合本中台的可拖 拽、 可快速构建物联设备 数据、 集群 状态信息的可视化展示平台。 [0014]进一步地， 在本发明中， 所述业务元数据包括数据库表和业务规则； 所述技术元数 据包括数据库对 象属性、 任务执行信息和上下游依赖数据； 所述操作元数据包括批处理的 执行日志和报表访问数据。说　明　书 1/3 页 3 CN 115168474 A 3