(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211083203.2 (22)申请日 2022.09.06 (71)申请人 宁波数益工联科技有限公司 地址 315048 浙江省宁波高新区新材 料创 新中心东区2幢20号1 1-10 (72)发明人 宿文　余坤　姜云倩　高鹏飞　 (74)专利代理 机构 浙江素豪律师事务所 3 3248 专利代理师 徐芙姗 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/27(2019.01) (54)发明名称 一种大数据生态联调系统数据对接方法和 系统 (57)摘要 本发明提出一种大数据生态联调系统数据 对接方法和系统。 其中， 方法包括： 将需要同步数 据行为先抽象成一个任务， 将数据抽象成节点， 分为源节点与目标节点。 源节点代表源数据， 目 标节点代表数据最终的归宿端。 由任务管理源节 点与目标节 点， 整个数据的流转过程就是从源节 点同步到目标节点的过程。 任务可以根据可视化 配置对源数据进行字段映射， 解决不同系统的数 据结构差异。 同时采用开源框架xxl_job灵活管 理任务执行的时间频率， 实时监控任务执行的情 况。 数据与数据的依赖问题抽象成任务与任务的 依赖问题。 本发明提出的方案， 对于不同数据结 构的同步只需做可视化配置与少量定制化开发 代码。 权利要求书2页 说明书9页 附图14页 CN 115422276 A 2022.12.02 CN 115422276 A 1.一种大 数据生态联调系统数据对接方法， 其特 征在于， 所述方法包括： 步骤S1、 将同步数据的行为转换成任务， 将数据抽象成节点， 所述节点分为源节点与目 标节点； 所述源节点代 表同步数据的源数据， 所述目标节点代 表同步数据的最终的归宿端； 步骤S2、 任务被调用后， 获取到源节点， 配置目标节点的任务同步的方式， 通过所述源 节点和同步的方式获取源数据， 并把所述源数据转 为map结构的数据； 步骤S3、 得到所述源数据的map结构的数据后， 根据map结构判断所述数据是否依赖预 定义范围内的数据， 若存在依赖 关系， 通过预定义依赖表达式获取到依赖数据的id， 将所述 依赖数据的id补充到本次同步的所述数据中， 得到补充id后的源数据； 若所述依赖数据不 存在， 更新数据同步状态为暂停； 步骤S4、 通过主键判断补充id后的源数据在对接服务的数据库是否存在， 若不存在， 则 将所述补充id后的源数据新增到对接服务的数据库内； 若存在， 则对所述补充id后的源数 据与对接服务的数据库中的数据 做hash比较， 如果hash比较结果一致， 不进行更新， hash比 较结果不一致， 进行更新； 步骤S5、 判断目标节点的属性， 若是中间表形式， 则将补充id后的源数据写入目标表 中， 更新数据发送状态； 若是消息队列形式， 则将补充id后的源数据发送消息队列， 更新数 据发送状态； 步骤S6、 等待 写表失败或发送消息队列反馈失败的异步反馈 。 2.根据权利要求1所述的一种大数据生态联调系统数据对接方法， 其特征在于， 在所述 步骤S3中， 所述方法还 包括： 对补充id后的源数据进行数据的长度、 类型和值是否符合配置的正则表达 式的数据校 验。 3.根据权利要求1所述的一种大数据生态联调系统数据对接方法， 其特征在于， 在所述 步骤S3中， 所述方法还 包括： 对所述补充id后的源数据中的公共字段做枚举映射。 4.根据权利要求1所述的一种大数据生态联调系统数据对接方法， 其特征在于， 在所述 步骤S2中， 由开源框架x xl_job管理任务的调度。 5.根据权利要求1所述的一种大数据生态联调系统数据对接方法， 其特征在于， 在所述 步骤S2中， 所述通过所述源节点和同步的方式获取源数据， 并把所述源数据转为map结构的 数据的方法包括： 若同步的方式是中间表方式同步， 则先获取到源节点的数据库驱动， 之后采用查询表 的方式获取源数据， 并把所述源数据转 为map结构的数据。 6.根据权利要求2所述的一种大数据生态联调系统数据对接方法， 其特征在于， 在所述 步骤S2中， 所述通过所述源节点和同步的方式获取源数据， 并把所述源数据转为map结构的 数据的方法还 包括： 若同步的方式是API接口方式， 则先获取到源节点的请求的路径， 调用API接口获取到 返回报文； 通过解析引擎拆解报文， 获取源 数据， 并把所述源数据转为map结构的数据； 由于 报文的结构存在差异性， 故要通过 可视化配置获取报文的格式规则。 7.根据权利要求1所述的一种大数据生态联调系统数据对接方法， 其特征在于， 在所述 步骤S6中， 所述异步反馈的方法包括：权　利　要　求　书 1/2 页 2 CN 115422276 A 2步骤S61、 通过监听所述消息队列或目标表获取到发送数据的反馈状态； 步骤S62、 若发送数据的反馈状态为失败， 更新数据的同步状态为失败； 若反馈状态为 成功， 更新数据的同步状态为成功； 步骤S63、 异步判断所述源数据是否被预定义范围内的数据依赖， 若无依赖关系， 结束 流程； 若被预定义范围内的数据所依赖， 获取所有依赖的数据， 通过所述源数据补 全所述所 有依赖的数据， 等待下次同步， 结束流 程。 8.一种用于大 数据生态联调系统数据对接系统， 其特 征在于， 所述系统包括： 第一处理模块， 被配置为， 将同步数据的行为转换成任务， 将数据抽象成节点， 所述节 点分为源节点与目标节点； 所述源节点代表同步数据的源数据， 所述 目标节点代表同步数 据的最终的归宿端； 第二处理模块， 被配置为， 任务被调用后， 获取到源节点， 配置目标节点的任务同步的 方式， 通过 所述源节点和同步的方式获取源数据， 并把所述源数据转 为map结构的数据； 第三处理模块， 被配置为， 得到所述源数据的map结构的数据后， 根据map 结构判断所述 数据是否依赖预定义范围内的数据， 若存在依赖关系， 通过预定义依赖表达式获取到依赖 数据的id， 将所述依赖数据的id补充到本次同步的所述数据中， 得到补 充id后源数据； 若依 赖数据不存在， 更新数据同步状态为暂停； 第四处理模块， 被配置为， 通过主键判断补充id后源数据在对接服务的数据库是否存 在， 若不存在， 则将所述补充id后源数据新增到对接服务的数据库内； 若存在， 则对所述补 充id后源数据与对接服务的数据库中的数据做hash比较， 如果hash比较结果一致， 不进行 更新， hash比较结果 不一致， 进行更新； 第五处理模块， 被配置为， 判断目标节点的属性， 若是中间表形式， 则将补充id后源数 据写入目标表中， 更新数据发送状态； 若 是消息队列形式， 则将补充id后源数据发送消息队 列， 更新数据发送状态； 第六处理模块， 被 配置为， 等待 写表失败或发送消息队列反馈失败的异步反馈 。 9.一种电子设备， 其特征在于， 所述电子设备包括存储器和处理器， 所述存储器存储有 计算机程序， 所述处理器执行所述计算机程序时， 实现权利要求1至7中任一项所述的一种 大数据生态联调系统数据对接方法中的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时， 实现权利要求1至7中任一项所述的一种 大数据生 态联调系统数据对接方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115422276 A 3