(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210947954.8 (22)申请日 2022.08.08 (71)申请人 广州小飞信息科技有限公司 地址 510275 广东省广州市天河区棠东 东 路3号403室 (72)发明人 陈璐　刘日荣　何建波　张君晖　 梁丽丽　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 王伟 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/23(2019.01) G06F 16/22(2019.01) G06F 16/27(2019.01) (54)发明名称 一种基于大数据的配置式可扩展统计入库 系统及其方法 (57)摘要 本发明提供一种基于大数据的配置式可扩 展统计入库系统及其方法， 所述系统包括配置管 理模块、 数据配置模块和后台入库模块： 所述配 置管理模块， 用于配置数据源、 数据源中的数据 表和数据池， 得到配置数据； 所述数据表包括数 据源中日志数据的数据格式和数据表字段； 所述 数据配置模块， 用于根据所述配置数据， 对需要 入库的统计型数据进行入库 操作； 所述后台入库 模块， 用于根据所述配置数据， 读取所述入库的 统计型数据， 并写入到配置对应的数据池中。 本 系统在解决大规模数据消费与入库需求的同时， 保持了系统的实时性和稳定性， 提高并加强了入 库系统的灵活性与可配置性， 降低了入库系统的 使用成本， 提升构建入库系统的效率。 权利要求书2页 说明书6页 附图4页 CN 115374199 A 2022.11.22 CN 115374199 A 1.一种基于大数据的配置式可扩展统计入库系统， 其特征在于： 所述系统包括配置管 理模块、 数据配置模块和后台入库模块： 所述配置管理模块， 用于配置数据源、 数据源中的数据表和数据池， 并根据所述数据源 与所述数据池的订阅关系， 关联所述数据源、 数据表和数据池， 得到配置数据； 所述数据表 包括数据源中日志数据的数据格式和数据表字段； 所述数据配置模块， 用于根据所述配置数据， 对需要入库的统计型 数据进行入库操作； 所述后台入库模块， 用于根据 所述配置数据， 读取所述入库的统计型数据， 并写入到配 置数据对应的数据池中。 2.如权利要求1所述的一种基于大数据的配置 式可扩展统计入库系统， 其特征在于， 所 述配置管理模块还 包括： 鉴权模块， 用于用户的权限对数据请求进行鉴权； 日志管理模块， 用于进行全表的定义和子表的映射， 以及统计日志的读取、 处理和入 库。 3.如权利要求1所述的一种基于大数据的配置 式可扩展统计入库系统， 其特征在于， 所 述后台入库模块包括： 配置同步模块， 用于同步所述配置管理模块对数据源、 数据源中的数据表和数据池的 配置变更； 组件维护模块， 用于根据所述配置同步模块的同步， 实施维护运行组件的更新和启停。 4.如权利要求1所述的一种基于大数据的配置 式可扩展统计入库系统， 其特征在于， 所 述后台入库模块还 包括： 统计日志读取模块， 用于根据配置的数据源获取原 始统计日志； 全表子表日志处理模块， 用于处理所述原始统计日志， 并将所述原始统计日志映射到 全表日志及根据子表配置生成子表日志； 子表日志入库模块， 用于根据所述子表日志查找对应的子表日志发布节点， 并根据子 表的入库配置将所述子表日志入库到所述子表日志发布 节点对应的数据池。 5.如权利要求1所述的一种基于大数据的配置 式可扩展统计入库系统， 其特征在于， 所 述数据配置模块配置的数据源， 包括 kafka； 所述数据配置模块配置的数据表， 包括JSON格式和datepv字段； 所述数据配置模块配置的数据池为持久化存 储数据池， 包括MySQ L和Clickhouse。 6.一种基于大 数据的配置式可扩展统计入库方法， 其特 征在于， 所述方法包括： 配置数据源、 数据源中的数据表和数据池， 并根据所述数据源与所述数据池的订阅关 系， 关联所述数据源、 数据表和数据池， 得到配置数据； 所述数据表包括数据源中日志数据 的数据格式和数据表字段； 根据所述配置数据， 对需要入库的统计型 数据进行入库操作； 根据所述配置数据， 读取 所述入库的统计型 数据， 并写入到配置数据对应的数据池中。 7.如权利要求6所述的一种基于大数据的配置 式可扩展统计入库方法， 其特征在于， 所 述根据所述配置数据， 对需要入库的统计型 数据进行入库操作， 包括： 根据用户的权限对数据请求进行鉴权； 进行全表的定义和子表的映射， 以及统计日志的读取、 处 理和入库。权　利　要　求　书 1/2 页 2 CN 115374199 A 28.如权利要求6所述的一种基于大数据的配置 式可扩展统计入库方法， 其特征在于， 所 述根据所述配置数据， 读取所述入库的统计型数据， 并写入到配置数据对应的数据池中， 还 包括： 根据配置的数据源获取原 始统计日志； 处理所述原始 统计日志， 并将所述原始统计日志映射到全表日志及根据子表配置生成 子表日志； 根据所述子表日志查找对应的子表日志发布节点， 并根据子表的入库配置将所述子表 日志入库到所述子表日志发布 节点对应的数据池。 9.如权利要求6所述的一种基于大数据的配置 式可扩展统计入库系方法， 其特征在于， 所述根据所述配置数据， 读取所述入库的统计型数据， 并写入到配置数据对应的数据池中 之后， 包括： 同步对数据源、 数据源中的数据表和数据池的配置变更； 根据对所述配置变更的同步操作， 实施维护运行组件的更新和启停。 10.如权利要求6所述的一种基于大数据的配置式可扩展统计入库方法， 其特征在于， 配置的数据源， 包括 kafka； 配置的数据表， 包括JSON格式和datepv字段； 配置的数据池为持久化存 储数据池， 包括MySQ L和Clickhouse。权　利　要　求　书 2/2 页 3 CN 115374199 A 3