(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210588490.6 (22)申请日 2022.05.26 (71)申请人 浙江邦盛科技股份有限公司 地址 310012 浙江省杭州市西湖区西斗门 路3号天堂软件园D幢17层ABCD座 (72)发明人 陈伟　王刚　唐迪佳　鲁萍　 杨运平　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/2458(2019.01) G06F 16/25(2019.01) G06F 9/54(2006.01)G06Q 10/06(2012.01) G06Q 40/02(2012.01) (54)发明名称 一种基于多维中间态聚合的银行流计算业 务实时指标系统 (57)摘要 本发明公开了一种基于多维中间态聚合的 银行流计算业务实时指标系统， 该系统中的预处 理模块接收来自Kafka消息队列的实时交易流水 并与全量数据库Redis模块进行交互。 特征处理 模块对预处理数据的特征进行筛选和组合 以生 成中间态记录。 指标聚合模块由多个聚合计算节 点组成， 根据聚合方式将中间态记录分散到不同 的计算节 点进行聚合。 聚合运算过程使用并行的 计算方式可使用底层计算资源进行加速， 并将最 终的计算结果存储到中间态数据库MemDB模块 中。 本发明能够提升计算资源使用效率， 均衡计 算负载， 并有效的减少系统IO负载， 以达到银行 流计算业务指标在实时性方面的要求。 权利要求书1页 说明书5页 附图1页 CN 114896285 A 2022.08.12 CN 114896285 A 1.一种基于多维中间态聚合的银行流计算业务实时指标系统， 其特征在于， 该系统包 括预处理模块、 全量数据库Redis模块、 ETL模块、 特征处理模块、 指标聚合模块和中间态数 据库MemDB模块； 所述预处理模块用于接收来自Kafka消息队列的实时交易流水数据， 根据业务需求从 全量数据库Redis模块中取出指 定时间区间的全量历史数据以及将新的实时交易流水数据 进行保存， 并将由全量数据库Redis模块中取出的历史数据以及Kafka消息队列的实时交易 流水数据一并发送至 ETL模块； 所述全量数据库Redis模块用于银 行流计算 业务相关的完整的未 经处理的多维数据； 所述ETL模块用于对预处理模块发送的Kafka消息队列的实时交易流水数据以及全量 数据库Redis模块的历史数据进 行清洗和标准化， 将数据按照维度对齐并统一格式， 将全量 数据库Redis模块中的历史数据以及来自Kafka的实时交易流水数据转化为标准数据 发送 至特征处理模块； 所述特征处理模块对经过清洗和标准化的多维数据根据业务需求进行特征筛选， 并根 据指标聚合模块的聚合方式对筛选后的多维特征进行分组， 形成指定格式的多维中间态记 录； 具体为： 特征处理模块包含多种列表， 每个列表对应一种指标聚合模块的聚合方式， 每 个列表中包 含多维特 征； 每个列表根据业 务需求决定特 征数量以及特 征组合格式； 所述指标聚合模块由多个聚合节点组成， 每个聚合节点执行一种聚合方式， 将特征处 理模块得到的多维中间态记录按照对应的聚合方式分配到不同的聚合节点中进行聚合运 算， 将结果发送至中间态数据库MemDB模块； 所述中间态数据库MemDB模块用于存储聚合运算后的指标计算结果， 为银行流计算业 务提供指标判断依据。 2.根据权利要求1所述的一种基于多维中间态聚合的银行流计算业务实时指标系统， 其特征在于， 所述特征 处理模块中的特征组合格式指的是对于每个特定业务场景下的某类 特定数据， 将其多个特 征按照指定顺序进行排列， 列表内直接存 储每个特征的具体数值。 3.根据权利要求1所述的一种基于多维中间态聚合的银行流计算业务实时指标系统， 其特征在于， 所述指标聚合模块中每个聚合计算节点中的所需处理的多维中间态记录的聚 合方式相同， 采用先将可聚合数据组合再统一聚合的方式进行并行运算， 避免单一中间态 记录聚合时的串行运 算， 提升聚合效率。 4.根据权利要求1所述的一种基于多维中间态聚合的银行流计算业务实时指标系统， 其特征在于， 所述指标聚合模块的多维特征的聚合方法， 包括取最大值、 最小值、 求和以及 求平均值。 5.根据权利要求1所述的一种基于多维中间态聚合的银行流计算业务实时指标系统， 其特征在于， 所述特征处理模块获取用于数据聚合所需的额外辅助数据， 包括待聚合时序 数据的时间戳以及求取平均值时需要记录的数据总量。权　利　要　求　书 1/1 页 2 CN 114896285 A 2一种基于多维中间态聚合的银行流计算 业务实时指标系统 技术领域 [0001]本发明涉及银行流计算数据处理领域， 尤其是指一种基于多维中间态聚合的银行 流计算业务实时指标系统。 背景技术 [0002]随着大数据时代的到来， 很多的金融场景中会出现多维数据， 如银行流水数据， 股 票交易数据， 信用卡账户数据等。 这些数据通常包含多个特征， 特征计算系统在处理这些不 同的特征时往往会使用不同的计算方法， 如求和、 取平均、 最大最小值等。 然而随着业务复 杂程度的提升， 特征计算系统所需要处理的数据量急速增加， 很多的金融场景需要对业务 对象建立多维度的特征体系以及对不同的特征需要采用不同的处理方式， 这些都对系统的 性能提出了新的挑战。 [0003]银行流计算业务作为金融领域中重要的部分， 其对系统的实时性有着较高的要 求， 目前大多 数的实时指标系统都采用的是主流的经典流计算架构， 在复杂的业务场景下， 该架构暴露出两个 问题： 一是 由于流式计算框架并不针对底层数据存储的管理和优化， 每 一次业务事件的处理都需要从底层数据库中取出相关数据并输入到计算框架中去， 这便会 造成系统IO负载； 二是由多维数据导致的不同的特征 处理方式会造成额外的数据处理的开 销以及计算资源的浪费， 这也使得特征计算系统的运维成本大幅提高。 以上两个 问题使得 经典流计算架构并不能满足银 行流计算 业务指标系统对于实时性的要求。 发明内容 [0004]本发明的目的在于针对现有技术的不足， 提出一种基于多维中间态聚合的银行流 计算业务实时指标系统， 通过对全量数据进行特征处理生成中间态记录并聚合， 再与中间 态数据库中的原始记录进 行比对和更新的方式实现银行流计算指标业务。 该系统可以提高 多维数据的计算效率， 节省计算资源， 减少系统的IO负载， 以达到银行流计算业务在实时性 方面的要求。 [0005]本发明的目的是通过以下技术方案来实现的： 一种基于多维中间态聚合的银行流 计算业务实时指标系统， 该系统包括预处理模块、 全量数据库Redis模块、 ETL模块、 特征处 理模块、 指标聚合模块和中间态数据库MemDB模块； [0006]所述预处理模块用于接收来自Kafka消息队列的实时交易流水数据， 根据业务需 求从全量数据库Redis模块中取出指 定时间区间的全量历史数据以及将新的实时交易流水 数据进行保存， 并将由全量数据库Redis模块中取出的历史数据以及Kafka消息队列的实时 交易流水数据一并发送至 ETL模块； [0007]所述全量数据库Redis模块用于银行流计算业务相关的完整的未经处理的多维数 据； [0008]所述ETL模块用于对预处理模块发送的Kafka消息队列的实时交易流水数据以及 全量数据库Redis模块的历史数据进行清洗和标准化， 将数据按照维度对齐并统一格式， 将说　明　书 1/5 页 3 CN 114896285 A 3