(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210925735.X (22)申请日 2022.08.03 (71)申请人 南瑞轨道交通 技术有限公司 地址 210031 江苏省南京市江北新区高新 路20号 (72)发明人 陈莉莉　张赛桥　狄颖琪　张振山　 胡波　张浩　费洋　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 陈珉 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/25(2019.01) G06F 16/23(2019.01) (54)发明名称 大数据平台主数据实时同步方法及系统 (57)摘要 本发明公开了一种大数据平台主数据实时 同步方法， 包括实时接口模块、 批量同步模块、 任 务管理模块以及数据服务模块； 所述批量同步模 块用于在系统资源匮乏时同步时效性要求低的 主数据； 所述实时接口模块用于在系统资源充足 时同步所有主数据， 在系统资源匮乏时同步时效 性要求高的主数据； 所述任务管 理模块用于切分 和调度各个数据同步作业； 所述数据服务模块用 于提供各个应用访问已同步的数据， 本发明通过 根据系统资源占用率选择不同的同步方式将数 据从源系统同步到大数据， 在保数据同步稳定性 的同时也保证数据同步的实时性， 并且在数据服 务模块中通过 实时组件Redis向外部提供数据访 问服务， 保证了访问的高效实时性和准确性。 权利要求书1页 说明书5页 附图2页 CN 115309821 A 2022.11.08 CN 115309821 A 1.一种大数据平台主数据实时同步系统， 其特征在于， 包括： 实时接口模块、 批量同步 模块、 任务管理模块以及数据服 务模块； 所述批量同步模块用于在系统资源匮乏时同步时效性要求低的主数据； 所述实时接口模块用于在系统资源充足时同步所有主数据， 在系统资源匮乏时同步 时 效性要求高的主数据； 所述任务管理模块用于切分和调度各个数据同步作业； 所述数据服 务模块用于提供 各个应用访问已同步的数据。 2.基于权利要求1所述系统 的一种大数据平台主数据实时同步方法， 其特征在于， 在系 统资源匮乏时通过批量同步模块同步时效性要求低的主数据， 通过实时接口模块同步时效 性要求高的主数据； 在系统资源充足时通过实时接口模块同步所有 主数据； 通过任务管理模块对数据同步作业进行切分和调度； 通过数据服务模块向各个 应用提供已同步数据的访问。 3.根据权利要求2所述的一种大数据平台主数据实时同步方法， 其特征在于， 批量同步 模块同步主数据采用Sqo op组件， 定期把主数据从各个数据源同步到大 数据平台 中。 4.根据权利要求3所述的一种大数据平台主数据实时同步方法， 其特征在于， 批量同步 模块将主数据从数据源同步到大 数据平台采用整表同步的方式。 5.根据权利要求2所述的一种大数据平台主数据实时同步方法， 其特征在于， 实时接口 模块通过调用接口函数和 消息发送进行主数据同步。 6.根据权利要求2所述的一种大数据平台主数据实时同步方法， 其特征在于， 系统资源 剩余超过5 0%时为系统资源充足， 低于 50%时为系统资源匮乏。 7.根据权利要求2所述的一种大数据平台主数据实时同步方法， 其特征在于， 对时效性 要求高的主数据进行同步时， 任务管理模块先把数据同步作业按照线路和系统进行切分。 8.根据权利要求7所述的一种大数据平台主数据实时同步方法， 其特征在于， 任务管理 模块在启动时把关系库的主数据 表加载到内存 数据库中， 再把内存数据库的数据加载到各 个数据同步作业中， 建立Map， 将数据源中的数据产生点ID和大数据平台内的数据ID进 行映 射。权　利　要　求　书 1/1 页 2 CN 115309821 A 2大数据平台主数据实时同步方 法及系统 技术领域 [0001]本发明属于交通综合自动化技术领域， 尤其涉及 一种大数据平台主数据实时同步 方法及系统。 背景技术 [0002]目前轨道交通安全生产网内， 随着运营数据量的增大和数据类型的增多， 越来越 多地采取大数据平台进行海量生产数据汇总和存储， 并进行数据治理， 最终形成数据资产 地图。 [0003]目前大数据平台内， 对于无时无刻不在产生的海量生产数据， 比如设备和点的运 行状态、 传感器的状态变化等， 可以通过流处理方法， 在数据ETL后， 实时传递到大数据 平台 内并共享出去。 但是对于相对稳定的主 数据， 比如说设备和点的属性等， 目前都是通过定期 同步的方法来处理。 这种主数据 的定期同步， 一般采用大数据平台的数据同步组件， 比如 Sqoop组件， 定时把数据从源系统同步到大 数据平台 内存储主数据的关系数据库表中。 [0004]早期的大数据平台没有实时流处理业务， 只用于历史数据的存储， 业务也都是T+1 类型。 这种情况下， 即便主数据变化有滞后， 对业务也影响不大。 但是随着轨道交通运营业 务的增长， 大数据平台内用于各种智慧运营 的实时流任务也越来越多。 我们在做实时流处 理过程中发现， 在某些场合， 比如添加传感器、 更换设备等导致了源系统主数据变化， 需要 及时更新到大数据平台。 否则导致大数据平台内主数据和 生产数据之间数据不匹配， 造成 某些指标(比如故障统计、 故障预测)的计算错误； 或者影响了数据质量， 在生产数据入库时 数据校验不 通过， 可能会导 致数据的后续处 理产生问题。 发明内容 [0005]为了解决现有技术存在的问题， 本发明提供一种大数据平台主数据实时同步方法 及系统， 能够快速将源系统数据同步到大 数据平台。 [0006]本发明所要解决的技 术问题是通过以下技 术方案实现的： [0007]第一方面， 提供了一种大数据平台主数据实时同步系统， 包括： 实时接 口模块、 批 量同步模块、 任务管理模块以及数据服 务模块； [0008]所述批量同步模块用于在系统资源匮乏时同步时效性要求低的主数据； [0009]所述实时接口模块用于在系统资源充足时同步所有主数据， 在系统资源匮乏时同 步时效性要求高的主数据； [0010]所述任务管理模块用于切分和调度各个数据同步作业； [0011]所述数据服 务模块用于提供 各个应用访问已同步的数据。 [0012]第二方面， 进一步的， 在系统资源匮乏时通过批量 同步模块同步时效性要求低的 主数据， 通过实时接口模块同步时效性要求高的主数据； [0013]在系统资源充足时通过实时接口模块同步所有 主数据； [0014]通过任务管理模块对数据同步作业进行切分和调度；说　明　书 1/5 页 3 CN 115309821 A 3