全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210745321.9 (22)申请日 2022.06.27 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 濮正凯 张巍  (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 周春霞 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/242(2019.01) G06F 16/25(2019.01) G06Q 40/02(2012.01) (54)发明名称 一种基于图数据库的字段血缘处理方法及 系统 (57)摘要 本申请实施例提供一种基于图数据库的字 段血缘处理方法及系统, 涉及数据分析技术领 域。 该方法包括: 获取查询请求信息和任务参数 信息; 根据预设数据查询引擎对 所述查询请求信 息进行字段血缘分析, 生成字段血缘关系数据; 将所述任务参数信息和所述字段血缘关系数据 发送至Kafka流处理平台; 通过所述Kafka流处理 平台分析所述字段血缘关系数据中字段之间的 继承关系, 生成字段血缘图数据; 根据所述字段 血缘图数据生成图数据库, 所述图数据库用于查 询并展示所述查询请求信息的血缘信息。 该方法 可以实现提高字段血缘查询的处理效率的技术 效果。 权利要求书2页 说明书9页 附图4页 CN 115080570 A 2022.09.20 CN 115080570 A 1.一种基于图数据库的字段 血缘处理方法, 其特 征在于, 包括: 获取查询请求信息和任务 参数信息; 根据预设数据查询引擎对所述查询请求信 息进行字段血缘分析, 生成字段血缘关系数 据; 将所述任务 参数信息和所述字段 血缘关系数据发送至Kafka流处 理平台; 通过所述Kafka流处理平台分析所述字段血缘关系数据中字段之间的继承关系, 生成 字段血缘图数据; 根据所述字段血缘图数据生成图数据库, 所述图数据库用于查询并展示所述查询请求 信息的血缘信息 。 2.根据权利要求1所述的基于图数据库的字段血缘处理方法, 其特征在于, 所述任务参 数信息包括标识信息和执行编号信息, 在所述通过所述Kafka流处理平台分析所述字段血 缘关系数据中字段之间的继承关系, 生成字段 血缘图数据的步骤之前, 所述方法还 包括: 记录所述标识信息和所述执 行编号信息,根据所述标识信息启动预设线程; 根据所述执行编 号信息检测所述预设线程处于完成状态时, 将所述字段血缘关系数据 对应的数据模型反序列化并加载至所述Kafka流处 理平台对应的预设内存。 3.根据权利要求2所述的基于图数据库的字段血缘处理方法, 其特征在于, 所述通过所 述Kafka流处理平台分析所述字段血缘关系数据中字段之间的继承关系, 生成字段血缘图 数据的步骤, 包括: 根据预设内存分析所述字段血缘关系数据中字段之间的继承关系, 生成所述字段血缘 图数据, 所述字段血缘图数据中的一个点代表一个字段, 点和点之间的边代表字段和字段 的转换关系。 4.根据权利要求3所述的基于图数据库的字段血缘处理方法, 其特征在于, 在所述根据 所述字段 血缘图数据生成图数据库的步骤之前, 包括: 将所述任务 参数信息添加至所述字段 血缘图数据。 5.根据权利要求1所述的基于图数据库的字段血缘处理方法, 其特征在于, 在所述根据 所述字段 血缘图数据生成图数据库的步骤之后, 所述方法还 包括: 获取预设查询接口发送的接口数据; 根据所述接口数据在所述图数据库进行查询, 获得与 所述接口数据对应的字段血缘图 数据。 6.根据权利要求1所述的基于图数据库的字段血缘处理方法, 其特征在于, 所述Kafka 流处理平台用于将所述字段 血缘关系数据 序列化到 本地磁盘。 7.根据权利要求1所述的基于图数据库的字段血缘处理方法, 其特征在于, 所述预设数 据查询引擎包括Presto数据引擎、 Hive 数据引擎、 Spark数据引擎中的一种或多种。 8.一种基于图数据库的字段 血缘处理系统, 其特 征在于, 包括: 获取模块, 用于获取查询请求信息和任务 参数信息; 血缘分析模块, 用于根据预设数据查询引擎对所述查询请求信息进行字段血缘分析, 生成字段 血缘关系数据; 发送模块, 用于将所述任务参数信息和所述字段血缘关系数据发送至Kafka流处理平 台;权 利 要 求 书 1/2 页 2 CN 115080570 A 2血缘图模块, 用于通过所述Kafka流处理平台分析所述字段血缘关系数据中字段之间 的继承关系, 生成字段 血缘图数据; 图数据库模块, 用于根据所述字段血缘图数据生成图数据库, 所述图数据库用于查询 并展示所述 查询请求信息的血缘信息 。 9.一种电子设备, 其特征在于, 包括: 存储器、 处理器以及存储在所述存储器中并可在 所述处理器上运行的计算机程序, 所述处理器执行所述计算机程序时实现如权利要求 1至7 任一项所述的基于图数据库的字段 血缘处理方法的步骤。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有指令, 当所述指 令在计算机上运行时, 使得所述计算机执行如权利要求 1至7任一项 所述的基于图 数据库的字段 血缘处理方法的步骤。权 利 要 求 书 2/2 页 3 CN 115080570 A 3

PDF文档 专利 一种基于图数据库的字段血缘处理方法及系统

文档预览
中文文档 16 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于图数据库的字段血缘处理方法及系统 第 1 页 专利 一种基于图数据库的字段血缘处理方法及系统 第 2 页 专利 一种基于图数据库的字段血缘处理方法及系统 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:01:41上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。