(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210647259.X
(22)申请日 2022.06.08
(71)申请人 浙江天目智慧科技有限公司
地址 310000 浙江省杭州市拱 墅区体育场
路178号
(72)发明人 李伟忠 杨礼尊
(74)专利代理 机构 杭州华知专利事务所(普通
合伙) 33235
专利代理师 杨秀芳
(51)Int.Cl.
G06F 16/2455(2019.01)
G06F 16/2458(2019.01)
(54)发明名称
一种基于多纬度大数据的实时排行榜统计
方法、 系统和存 储介质
(57)摘要
本申请提供了一种基于多纬度大数据的实
时排行榜统计方法、 系统和存储介质。 本申请利
用多纬度统计表单将用户数据保存在第一数据
库中并同步用户数据至第二数据库, 通过配置第
二数据库的聚合统计策略将用户数据进行聚合
统计生成排行榜数据并定期发送、 更新排行榜数
据得到缓存 数据; 根据用户访问需求信息调取最
新的缓存数据发送至终端以排行榜列表的形式
展示。 本申请通过建立多纬度统计表单对用户数
据进行处理, 可以解决大数据量、 多纬度数据的
实时聚合统计, 数据响应速度快; 排行榜数据的
获取和计算 分别由两个数据库完成, 摆脱了数据
读入内存后由程序计算而导致系统内存占用率
高的问题, 也摆脱了由MYSQL聚合计算影响系统
整体性能的现象。
权利要求书2页 说明书9页 附图1页
CN 114996312 A
2022.09.02
CN 114996312 A
1.一种基于多纬度大 数据的实时排行榜统计方法, 其特 征在于, 包括如下步骤:
配置统计纬度信息, 根据统计纬度信息建立多纬度统计表单;
采集平台内的用户数据, 将用户数据根据 数据类型插入至多纬度统计表单并保存在第
一数据库中;
同步用户数据至第二数据库, 配置第二数据库的聚合统计策略, 将用户数据进行聚合
统计生成排行榜数据并定期发送、 更新 排行榜数据得到缓存数据;
接收用户访问需求信 息, 根据用户访问需求信 息调取最新的缓存数据发送至终端以排
行榜列表的形式展示。
2.根据权利要求1所述的基于多纬度 大数据的实时排行榜 统计方法, 其特征在于, 根据
统计纬度信息建立多纬度统计表单 具体为:
获取平台所产生的数据类型, 所述数据类型包括时间信息、 区域信息、 频次信息、 审核
信息、 评分信息和金额信息;
将数据类型中的一项或多项信息指标进行聚合分析, 生成单一纬度聚合信息, 所述纬
度聚合包括时间聚合、 用户聚合和组织聚合;
以不同纬度下纬度聚合信息的数据类型为模板建立各个纬度下的纬度统计表单。
3.根据权利要求1所述的基于多纬度 大数据的实时排行榜 统计方法, 其特征在于, 采集
平台内的用户数据具体为:
接收用户行为信号, 采集平台 内所有用户行为信号下的单一用户数据;
监测同一用户行为信号下相关联的数据类型中数据值的偏移程度是否超过 预设值;
若超过预设值则对偏移程度超过 预设值的数据值 根据数据样本量进行加权矫 正。
4.根据权利要求1所述的基于多纬度 大数据的实时排行榜 统计方法, 其特征在于, 同步
用户数据至第二数据库具体为:
将多纬度统计表单中的用户数据根据统计纬度信息进行分列处 理;
监测单一数据类型中的数据样本量, 当数据样本量超过预设列容量时, 对该数据类型
中的数据值进行聚合统计生成第一聚合统计结果并将其作为该数据类型下的数据值进行
数据覆盖;
将分列处 理后的用户数据以列数据的形式保存至第二数据库。
5.根据权利要求1所述的基于多纬度 大数据的实时排行榜 统计方法, 其特征在于, 配置
第二数据库的聚合统计策略具体为:
以第二数据库的分列为单位分别对所有数据类目下的数据值进行聚合统计;
针对每一类统计纬度信 息分别筛选一项或几项关键数据类型引入权重系数, 对该数据
类型中的数据值进行加权计算 生成第二聚合统计结果。
6.根据权利要求1所述的基于多纬度 大数据的实时排行榜 统计方法, 其特征在于, 将用
户数据进行聚合统计生成排行榜数据具体为:
根据应用场景设置对各个用户的聚合统计结果进行取值, 取值范围为最大值、 最小值、
加和值、 平均值或样本值;
根据应用场景设置将各个用户的聚合统计值按照预设方式进行排序生成排行榜数据。
7.根据权利要求1所述的基于多纬度 大数据的实时排行榜 统计方法, 其特征在于, 定期
发送、 更新 排行榜数据得到缓存数据具体为:权 利 要 求 书 1/2 页
2
CN 114996312 A
2将生成的排行榜数据发送至服 务器生成历史缓存数据;
以间隔时间设置的方式配置缓存数据的更新频率, 根据 更新频率定期向第 二数据库获
取最新的排行榜数据生成最 新的缓存数据;
根据更新频率定期对历史缓存数据进行失效标记。
8.根据权利要求1所述的基于多纬度 大数据的实时排行榜 统计方法, 其特征在于, 还包
括:
将缓存数据根据生成时间、 统计纬度信息以及用户数量设置标签进行 标记;
将标记后的缓存数据定期发回至第一数据库, 并建立标签与数据的链接模式。
9.一种基于多纬度 大数据的实时排行榜 统计系统, 其特征在于, 包括存储器和处理器,
所述存储器中包括基于多纬度大数据的实时排行榜统计程序, 所述基于多纬度大数据的实
时排行榜统计程序被所述处理器执行时, 实现如权利要求 1~8任一项 所述基于多纬度大数
据的实时排行榜统计方法的步骤。
10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质中包括基于多纬
度大数据的实时排行榜统计程序, 所述基于多纬度大数据的实时排行榜统计程序被处理器
执行时, 实现如权利要求1~8任一项所述基于多纬度大数据 的实时排行榜统计方法的步
骤。权 利 要 求 书 2/2 页
3
CN 114996312 A
3
专利 一种基于多纬度大数据的实时排行榜统计方法、系统和存储介质
安全报告 >
其他 >
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 00:09:52上传分享