(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210560243.5 (22)申请日 2022.05.23 (71)申请人 浪潮软件科技有限公司 地址 250100 山东省济南市高新区浪潮路 1036号浪潮科技园 (72)发明人 王旭龙　汤先伟　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 潘悦梅 (51)Int.Cl. G06F 16/18(2019.01) G06F 16/215(2019.01) G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/2457(2019.01)G06F 16/2458(2019.01) G06F 16/27(2019.01) (54)发明名称 多应用日志聚合 查询系统及方法 (57)摘要 本发明公开了多应用日志聚合查询系统及 方法， 属于日志管理技术领域， 要解决的技术问 题为在应用集成场景下， 如何实现日志收集、 存 储及查询， 是需要解决的技术问题。 包括日志收 集器、 队列、 数据分发器、 数据存储器、 日志查询 器、 数据库及分布式存储节点； 日志收集器用于 通过fsnotify监听日志文件 ， 用于通过 goroutine读取日志数据并将读取的日志数据推 送至队列中， 用于通过goroutine将日志数据以 及其与对应的时间戳和元数据作为日志流推送 至数据分发器； 数据分发器用于将日志流推送至 数据存储器； 数据存储器用于将日志数据打包至 对应的存储块； 日志查询器用于匹配对应的所有 存储块， 并从存储块中选定日志数据返回客户 端。 权利要求书3页 说明书8页 附图3页 CN 115017126 A 2022.09.06 CN 115017126 A 1.一种多应用日志聚合查询系统， 其特征在于包括日志收集器、 队列、 数据分发器、 数 据存储器、 日志查询器、 数据库以及分布式存 储节点； 所述日志收集器部署于应用中， 用于通过fsnotify监听指定目录下的日志文件， 对于 发生变动的日志文件， 用于通过goroutine读取日志数据并将读取的日志数据推送至队列 中， 对于队列中日志数据， 用于通过gorout ine将日志数据以及其与对应的时间戳和元数据 作为日志流推送至数据分发器； 所述数据分发器用于基于时间戳接收并验证日志流， 并将通过验证的日志流推送至数 据存储器； 所述数据存储器用于基于时间戳和元数据、 为接收的日志流匹配对应的存储节点并分 配存储块， 并将日志数据打包至对应的存储块， 用于基于日志数据以及与其对应的时间戳、 元数据、 存储块以及存 储节点构建索引， 并将索引存 储数据库； 所述日志查询器用于接收客户端发送的查询 请求， 并基于查询请求中指定的时间区间 和元数据， 从数据存储器和分布式存储节点中查找索引并匹配对应的所有存储块， 并从存 储块中选 定日志数据返回客户端。 2.根据权利要求1所述的多应用日志聚合 查询系统， 其特 征在于 所述数据存储器用于基于时间戳的递增顺序接收日志数据， 并基于时间戳和日志数据 内容对日志数据进行去重处 理； 对于确认接受的日志数据， 所述数据处理器用于基于时间戳和元数据为所述日志数据 匹配对应的存储节点、 并在存储节点上分配一个存储块， 将日志数据压缩后打包存储至存 储块中； 所述数据处理用于基于日志数据以及与其对应的时间戳、 元数据、 存储块以及存储节 点构建索引， 并将索引存 储数据库。 3.根据权利要求1所述的多应用日志聚合查询系统， 其特征在于所述数据存储器用于 将通过验证的日志流存储在本地， 对于存储于本地的日志数据， 将所述日志流对应的日志 数据存储至对应的存 储块后从本地删除； 所述数据存储器用于通过一组token将日志数据对应的时间戳和元数据注册到哈希环 中， 通过哈希 环为日志数据分配一个存 储节点。 4.根据权利要求1所述的多应用日志聚合查询系统， 其特征在于所述数据存储器用于 检测每个存储块的状态， 如果存储块容量已满或者预定时间内未更新， 将所述存储块标记 为只读状态， 处于只读状态的存 储块只支持读取日志数据不支持写入日志数据； 对于确认接收的日志数据， 所述数据存储器用于基于时间戳和元数据匹配对应的存储 节点， 并判断存储节点中是否存在存储块， 如果存储节点中存在存储块且所述存储块的状 态为可写， 将所述日志数据压缩打包至所述存储块中； 如果存储节点中不存在存储块或存 在的存储块状态为只 读， 所述数据存储器用于在存储节点中创建一个新的状态为可读可写 的存储块， 将所述日志数据压缩打包至所述新的存储块； 并基于日志数据以及与其对应的 时间戳、 元 数据、 新的存 储块以及存 储节点构建索引， 将索引存 储数据库。 5.根据权利要求1 ‑4任一项所述的一种多应用日志聚合查询系统， 其特征在于所述日 志查询器用于通过 前端API接收查询请求， 并将查询请求推送至队列； 所述日志查询器用于通过后端从队列获取查询 请求， 并基于查询 请求中指定的时间区权　利　要　求　书 1/3 页 2 CN 115017126 A 2间和元数据、 从数据存储器和分布式存储节点中查找索引并匹配对应的所有存储块， 并从 存储块中选 定日志数据推送至队列， 通过队列将选 定的日志数据返回前端API； 基于日志查询请求中指定的时间区间和标签， 从数据存储器和分布式存储节点中时， 所述日志查询器用于通过后端对选定的日志数据进行去重处理， 对拥有相同时间戳和日志 数据的在后返回的日志数据进行去重 。 6.一种多应用日志聚合查询方法， 其特征在于应用于如权利要求1 ‑5任一项所述的多 应用日志聚合 查询系统， 所述方法包括如下步骤： 通过fsnotify监听指定目录下的日志文件， 对于发生变动的日志文件， 通过goroutine 读取日志数据并将 读取的日志数据推送至队列中； 对于队列中日志数据， 通过goroutine将日志数据以及其与对应的时间戳和元数据作 为日志流推送至数据分发器； 基于时间戳、 通过数据分发器接收并验证日志流， 并将验证通过的日志流推送至数据 存储器； 对于通过验证的日志流， 基于时间戳和元数据、 通过数据存储器匹配对应的存储节点 并分配存储块， 并将日志数据打包至对应的存储块， 基于日志数据以及与其对应的时间戳、 元数据、 存储块以及存 储节点构建索引， 并将索引存 储数据库； 基于查询 请求中指定的时间区间和元数据， 通过 日志查询器从数据存储器和分布式存 储节点中查找索引并匹配对应的所有存 储块， 并从存 储块中选 定日志数据返回客户端。 7.根据权利要求6所述的一种多应用日志聚合 查询方法， 其特 征在于 基于时间戳的递增顺序、 通过数据存储器接收日志数据， 并基于时间戳和日志数据内 容对日志数据进行去重处 理； 对于确认接受的日志数据， 基于时间戳和元数据为所述日志数据匹配对应的存储节 点、 并在存储节点上分配一个存储块， 基于日志数据以及与其对应的时间戳、 元数据、 存储 块以及存 储节点构建索引， 并将索引存 储数据库； 将日志数据压缩后打包 存储至存储块中。 8.根据权利要求7所述的一种多应用日志聚合查询方法， 其特征在于将通过验证的日 志流存储在本地， 对于存储于本地的日志数据， 将所述日志流对应的日志数据存储至对应 的存储块后从本地删除； 对于确认接受的日志数据， 通过一组token将日志数据对应的时间戳和元数据注册到 哈希环中， 通过哈希 环为日志数据分配一个存 储节点。 9.根据权利要求7所述的一种多应用日志聚合查询方法， 其特征在于通过数据存储器 检测每个存储块的状态， 如果存储块容量已满或者预定时间内未更新， 将所述存储块标记 为只读状态， 处于只读状态的存 储块只支持读取日志数据不支持写入日志数据； 对于确认接收的日志数据， 基于时间戳和元数据、 通过数据存储器匹配对应的存储节 点， 并判断存储节点中是否存在存储块， 如果存储节点中存在存储块且所述存储块的状态 为可写， 将所述日志数据压缩打包至所述存储块中； 如果存储节点中不存在存储块或存在 的存储块状态为只 读， 通过存储处理器在 存储节点中创建一个新的状态为可读可写的存储 块， 将所述日志数据压缩打包至所述新的存储块； 并基于日志数据以及与其对应的时间戳、 元数据、 新的存 储块以及存 储节点构建索引， 将索引存 储数据库。权　利　要　求　书 2/3 页 3 CN 115017126 A 3