(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210747183.8 (22)申请日 2022.06.29 (65)同一申请的已公布的文献号 申请公布号 CN 114860847 A (43)申请公布日 2022.08.05 (73)专利权人 深圳红途科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道滨海社区滨海 大道3398号赛西科技 大厦17层170 6房 (72)发明人 莫波　刘小龙　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 李燕娥 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/25(2019.01) G06F 16/26(2019.01) G06F 16/28(2019.01)(56)对比文件 US 2021345454 A1,2021.1 1.04 CN 114422564 A,202 2.04.29 CN 109815 378 A,2019.0 5.28 CN 114666238 A,202 2.06.24 CN 113468159 A,2021.10.01 CN 110309034 A,2019.10.08 CN 110347708 A,2019.10.18 CN 113792330 A,2021.12.14 CN 111611458 A,2020.09.01 CN 114356692 A,2022.04.15 US 20151389 98 A1,2015.0 5.21 黄永会.基于电力数据流 转链路监控体系研 究与实践. 《中国优秀硕士学位 论文全文数据库 工程科技 Ⅱ辑》 .2022,(第4期), (续) 审查员 廖琼霞 (54)发明名称 应用于大数据平台的数据链路 处理方法、 系 统及介质 (57)摘要 本发明实施例公开了一种应用 于大数据平 台的数据链路处理方法、 系统及介质， 本申请涉 及数据处理技术领域， 该方法包括： ETL工具将源 数据同步至大数据平台时， 第一源 数据捕获插件 捕获第一同步任务， 并对其进行处理得到第一上 传信息； 大数据平台将源数据同步至应用数据库 时， 第二源数据捕获插件捕获第二同步任务， 并 对其进行处理得到第二上传信息； 应用系统从应 用数据库调用源 数据时， 数据链路识别插件捕获 调用任务及采集调用信息， 并对其进行处理得到 链路上传信息； 可视化展示系统对接收到的第一 上传信息、 第二上传信息以及链路上传信息进行 归并以生 成数据流转链路图。 本申请实施例可提 高链路数据管理的效率。 [转续页] 权利要求书2页 说明书9页 附图3页 CN 114860847 B 2022.09.27 CN 114860847 B (56)对比文件 Bowen Yu 等.VisFl ow - Web-based Visualization Framew ork for Tabular Data with a Subset Fl ow Model. 《IE EE Transacti ons on Visual ization and Computer Graphics》 .2016,第23卷(第1期),2/2 页 2[接上页] CN 114860847 B1.一种应用于大 数据平台的数据链路处 理方法， 其特 征在于， 包括： ETL工具将与业务系统相对应的业务数据库中的源数据同步至与大数据平台相对应的 数据仓库时， 第一源数据捕获插件捕获第一同步任务， 并对所述第一同步任务进行处理得 到第一上传信息； 所述大数据平台将所述数据仓库中的所述源数据同步至与应用系统相对应的应用数 据库时， 第二源数据捕获插件捕获第二同步任务， 并对所述第二同步任务进行处理得到第 二上传信息； 所述应用系统调用所述应用数据库中的所述源数据时， 数据链路识别插件捕 获调用任 务， 对所述调用任务进 行处理得到第三上传信息， 采集所述调用任务过程中的调用信息， 并 对所述调用信息进行 处理得到调用链路信息， 将所述调用链路信息及所述第三上传信息作 为链路上传信息； 可视化展示系统接收所述第 一源数据捕 获插件上传的所述第 一上传信 息、 所述第 二源 数据捕获插件上传的所述第二上传信息以及所述数据链路识别插件上传的所述链路上传 信息， 并对所述第一上传信息、 所述第二上传信息以及所述链路上传信息进行归并以生成 数据流转链路图。 2.根据权利要求1所述的应用于大数据平台的数据链路处理方法， 其特征在于， 所述对 所述第一同步任务/所述第二同步任务/所述调用任务进行 处理得到第一上传信息/第二上 传信息/第三上传信息， 包括： 对所述第一同步任务/所述第二同步任务/所述调用任务进行解析 得到所述源数据； 通过数据识别方法对所述源数据进行识别以确定数据类别； 判断所述数据类别是否为个人隐私数据； 若所述数据类别为个人隐私数据， 则对所述源数据进行标识、 分类以及分级处理得到 第一上传信息 /第二上传信息 /第三上传信息 。 3.根据权利要求2所述的应用于大数据平台的数据链路处理方法， 其特征在于， 所述通 过数据识别方法对所述源数据进行识别以确定数据类别， 包括： 通过定义的个人隐私数据具体类型的正则表达式、 字典、 关键字识别规则对所述源数 据进行匹配得到匹配分值； 将所述匹配分值 最高的类型作为所述源数据的数据类别。 4.根据权利要求1所述的方法， 其特征在于， 所述采集所述调用任务过程中的调用信 息， 并对所述调用信息进行处 理得到调用链路信息， 包括： 采集所述调用任务过程中的调用信 息， 并通过节点及链路ID对所述调用信息进行标识 得到标识调用信息； 设置所述标识调用信息中所述节点的上 下游关系得到调用链路信息 。 5.根据权利要求2所述的方法， 其特征在于， 所述对所述第一上传信息、 所述第二上传 信息以及所述链路上传信息进行归并以生成数据流 转链路图， 包括： 依次对所述第 一上传信 息、 所述第 二上传信 息以及所述链路上传信 息进行解析得到第 一上传数据组、 第二上传数据组以及链路上传数据组； 将所述第一上传数据组、 所述第二上传数据组以及所述链路上传数据组中的数据类 别、 数据标识、 数据分类信息以及数据分级信息进行比对得到比对结果；权　利　要　求　书 1/2 页 2 CN 114860847 B 3