(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210784231.0 (22)申请日 2022.07.06 (71)申请人 中电万维信息技 术有限责任公司 地址 730000 甘肃省兰州市城关区张苏 滩 553号 （电信第二枢纽B区4-7层） (72)发明人 杨维明　郭真　 (74)专利代理 机构 兰州嘉诺知识产权代理事务 所(普通合伙) 62202 专利代理师 郭海 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) G06F 16/25(2019.01) G06F 16/23(2019.01) (54)发明名称 一种针对大 型数据的高效处 理方法 (57)摘要 本发明涉及大型数据的缓存和处理的数据 库技术领域。 本发明提出的基于Redi s BitMap和 Redis‑Cluster的分布式集群缓存方法， 有效解 决了页面展示层响应时间长、 操作反应慢等用户 体验较差的问题。 数据应用层监测到接口请求时 首先会根据复合键值在Bit Map中快速检索， 如果 存在， 则直接根据请求类型从Bit Map中获取数据 进行操作， 并返回结果集； 如果不存在， 则首先从 数据库中进行检索， 然后将结果集根据请求类型 进行操作， 并返回结果集， 同时异步将结果集缓 存到BitMap中。 当用户多次请求时， 直接从Redi s 中快速获取， 同时采用Redis ‑Cluster分布式技 术， 其无中心结构 的特点， 保证数据的有效性和 安全性， 提高操作效率、 缩短响应时长、 降低数据 延迟， 给用户带来更好的操作体验感。 权利要求书1页 说明书3页 附图3页 CN 115309781 A 2022.11.08 CN 115309781 A 1.一种基于大型数据的高效处理方法， 其特征在于： 包括有数据库、 数据应用 层、 数据 库关系型 数据库和Redis数据库； 数据应用层为 Web应用程序， 包括如下步骤： S1. 数据应用层通过SpringBoot框架中YML文件的配置连接数据库， 并利用IDEA进行 数据库连接调试， 保证WEB应用程序与数据库联通,所属特征包括： YML配置文件中配置业务 型关系数据库连接和Redis数据库的连接； 其中Redis配置时需要设置 资源池的相关信息和 Cluster中节点服务信息， 以支持Redis集群； 在保证Redis集群启动的同时通过单元测试用 例来验证数据库是否已经实现联通； S2. 安装Redis应用程序， 并复制 安装文件， 调整其中的redis.conf配置文件， 然后启 动测试； 然后在Springb oot框架中引入相关MAVEN库， 并编写Redis配置文件， 包含初始化、 读取操作封装、 过期时间及Cluster集群设置； 根据集群数量复制至少3份Redis安装文件， 然后修改redis.conf文件中的默认端口、 开启备份， 然后通过启动命令逐个启动； SpringBoot项目在POM文件中引入Redis包并配置 好RedisTemplate自动装配类， 然后启动项目， 编写单元测试进行调试是否将集群调用成 功； S3. 根据请求的接口定位进行数据的获取和逻辑处理， 并获取KEY值， 然后利用KEY值 从Redis中检索， 如果存在， 则将结果集作为处理基数， 如果不存在， 则需要从当前连接的数 据库中进行检索， 并将结果集作为处理基数， 同时异步的将其缓存到Redis中， 当再次请求 此接口时便可以直接从Redis中检索获取； KEY值及组合要求包括业务ID、 时间戳 TIMESTAMP、 类型TYPE保证BitMap中健 值的唯一 性； S4.一个key值标识多种数据状态， 并且Redis本身支 持多种操作、 统计函数， 用于Top值 统计、 访问量计算、 用户状态更新、 参数 过滤等。 2.根据权利要求1所述的一种基于大型数据的高效处理方法， 其特征在于： 所述的WEB 应用程序通过Spr ingBoot技术版本要求2.x； YML配置文件中配置业务型关系数据库连接和 Redis数据库的连接； 其中Redis配置时需要设置资源池的相关信息和Cluster中节点服务 信息， 以支持Redis集群。 3.根据权利要求1所述的一种基于大型数据的高效处理方法， 其特征在于： 所述的 Redis应用程序中BitMap使用版本要求大于等于3.0； Redis ‑Csluster分布式集群技术使用 版本要求大于等于 6.0。权　利　要　求　书 1/1 页 2 CN 115309781 A 2一种针对大型数据的高 效处理方法 技术领域 [0001]本发明涉及大型数据的缓存处理技术领域， 具体为一种基于Redis  BitMap的高效 存储、 查询、 变更操作的分布式集群技 术。 背景技术 [0002]随着平台不断地发展和使用， 使得数据量不断的增加， 利用现有技术在平台页面 进行操作， 请求数据应用层接口时， 直接从数据库中进 行数据检索， 并将结果集传送到页面 展示层。 这个过程中因为表中数量级比较大， 进行SQL语句查询时会出现高延时、 低响应的 情况， 给用户造成非常糟糕的体验。 与此同时， 我们就需要引进一些新的能够高效处理大型 数据的技 术来解决这一问题。 发明内容 [0003]本发明的目的在于提供一种基于大型数据的高效处理方法， 提高数据响应的速 度， 提高用户的感知度。 [0004]为解决上述技术问题， 本发明是一种基于大型数据的高效处理方法包括有数据 库、 数据应用层， 数据库关系型数据库和Redis。 数据应用层为Web应用程序， 包括有如下步 骤： 一种基于大型数据的高效处理方法， 包括有数据库、 数据应用层、 数据库关系型数 据库和Redis数据库； 数据应用层为 Web应用程序， 包括如下步骤： S1. 数据应用层通过SpringBoot框架中YML文件的配置连接数据库， 并利用IDEA 进行数据库连接调试， 保证WEB应用程序与数据库联通,所属特征包括： YML配置文件中配置 业务型关系数据库连接和Redis数据库的连接； 其中Redis配置时需要设置资源池的相关信 息和Cluster中节 点服务信息， 以支持Redis集群； 在保证Redis集群启动的同时通过单元测 试用例来验证数据库是否已经实现联通； S2. 安装Redis应用程序， 并复制安装文件， 调整其中的redis.conf配置文件， 然 后启动测试， 保证Redis的可用性。 然后在Springboot框架中引入相关MAVEN库， 并编写 Redis配置文件， 包 含初始化、 读取操作封装、 过期时间及Cluster集群设置； 根据集群数量复制至少3份 Redis安装文件， 然后修改redis.conf文件中的默认端 口、 开启备份， 然后通过启动命令逐个启动； SpringBoot项目在POM文件中引入Redis包并配 置好RedisTemplate自动装配类， 然后启动项目， 编写单元测试进行调试是否将集群调用成 功； S3. 根据请求的接口定位进行数据的获取和逻辑处理， 并获取KEY值， 然后利用 KEY值从Redis中检索， 如果存在， 则将结果集作为处理基数， 如果不存在， 则需要从当前连 接的数据库中进行检索， 并将结果集作为处理基数， 同时异步的将其缓存到Redis中， 当再 次请求此接口时便可以直接从Redis中检索获取； KEY值及组合要求包括业务ID、 时间戳 TIMESTAMP、 类型TYPE保证BitMap中健 值的唯一 性；说　明　书 1/3 页 3 CN 115309781 A 3