(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210733397.X (22)申请日 2022.06.24 (71)申请人 国家石油天然气管网集团有限公司 地址 100013 北京市朝阳区东土城路5号A 座6层08-10室 (72)发明人 孙铁良　黄河　闫峰　吕峰　 咸玉龙　张建国　杨景丽　田甜　 孙凌祎　殷素娜　 (74)专利代理 机构 北京至臻永信知识产权代理 有限公司 1 1568 专利代理师 杨海涛　王建华 (51)Int.Cl. G06F 9/50(2006.01) G06F 16/23(2019.01) G06F 16/27(2019.01) (54)发明名称 审计数据同步采集方法、 装置、 设备和存储 介质 (57)摘要 本发明公开了审计数据同步采集方法、 系 统、 设备和存储介质， 所述方法包括步骤： 预先根 据预设源端数据库的表结构， 配置需监听的目标 表的表名称和表内的时间字段信息； 在数据同步 时， 通过数据同步模块根据当前的时间偏移量确 定增量数据； 数据同步模块根据本次数据同步的 开始时间更新时间参考点； 通过数据总线获取增 量数据， 并通过字段映射处理完成数据的转换； 通过NOSQL数据语句将增量数据以批量加载到 预 设的非关系型数据库中。 本发明中通过总线技术 的扩展， 将业务处理放到总线之后， 这样就不会 影响PCS系统业务的正常使用， 还可以减少对数 据库频繁连接的消耗和提高数据同步的效率。 权利要求书2页 说明书8页 附图2页 CN 114996020 A 2022.09.02 CN 114996020 A 1.一种审计数据同步采集方法， 其特 征在于， 包括 步骤： S11、 预先根据 预设源端数据库的表结构， 配置需监 听的目标表的表名称和表内的时间 字段信息； 所述预设源端数据库用于存 储先期已建 设的PCS系统审计数据； S12、 在数据同步时， 通过数据同步模块根据当前的时间偏移量确定增量数据， 包括： 根 据所述时间字段信息的变化与否判断所述目标表内是或否发生数据变化； 所述时间偏移 量 根据预设的时间参考点和本次数据同步任务的开始时间计算得出； 所述时间参考点为上次 的数据同步任务 开始时间； S13、 数据同步模块 根据本次数据同步任务的开始时间更新所述时间参 考点； S14、 通过 数据总线获取 所述增量数据， 并通过字段映射处 理完成数据的转换； S15、 通过NOSQ L数据语句将所述增量数据以批量加载到预设的非关系型 数据库中。 2.根据权利要求1所述的审计数据同步采集方法， 其特征在于， 所述监 听预设源端数据 库的连接信息， 包括： 根据设定的时间间隔， 周期性的打开所述预设源端数据库的连接， 以获取预设源端数 据库的连接信息 。 3.根据权利要求1所述的审计数据同步采集方法， 其特征在于， 所述通过数据同步模块 根据当前的时间偏移量确定增量数据， 包括： 通过标准SQL语句查询预设配置表中的所述时间偏移量， 确定需要进行数据同步的数 据总量。 4.根据权利要求1所述的审计数据同步采集方法， 其特征在于， 所述通过数据总线获取 所述增量数据， 包括： 将通过数据同步模块 根据当前的时间偏移量 提取的增量数据预存至预设缓存 模块； 以队列的形式通过 数据总线从所述预设缓存 模块中获取 所述增量数据。 5.根据权利要求1所述的审计数据同步采集方法， 其特征在于， 所述通过字段映射处理 完成数据的转换， 包括： 根据所述预设源端数据库 与非关系型 数据库的字段映射关系， 完成数据的转换。 6.一种审计数据同步采集装置， 其特征在于， 包括： 预制模块、 数据同步模块、 数据处理 模块和业 务模块， 其中： 所述预制模块， 用于预先根据预设源端数据库的表结构， 配置需监听的目标表的表名 称和表内的时间字段信息； 所述预设源端数据库用于存 储先期已建 设的PCS系统审计数据； 所述数据同步模块， 用于在数据同步时， 通过数据同步模块根据当前的时间偏移量确 定增量数据， 和， 根据本次数据同步任务的开始时间更新所述时间参考点； 其中， 通过数据 同步模块根据当前的时间偏移量确定增量数据包括： 根据所述时间字段信息的变化与否判 断所述目标表内是或否发生数据变化； 所述时间偏移量根据所述时间参考点和本次的数据 同步开始时间计算得 出； 所述数据处理模块用于通过数据总 线获取所述增量数据， 并通过字段映射处理完成数 据的转换； 所述业务模块用于通过NOSQL数据语句将所述增量数据以批量加载到预设的非关系型 数据库中。 7.根据权利要求6所述的审计数据同步采集装置， 其特征在于， 所述监 听预设源端数据权　利　要　求　书 1/2 页 2 CN 114996020 A 2库的连接信息， 包括： 根据设定的时间间隔， 周期性的打开所述预设源端数据库的连接， 以获取预设源端数 据库的连接信息 。 8.根据权利要求6所述的审计数据同步采集装置， 其特征在于， 所述根据当前的时间偏 移量确定增量数据， 包括： 通过标准SQL语句查询预设配置表中的所述时间偏移量， 确定需要进行数据同步的数 据总量。 9.根据权利要求6所述的审计数据同步采集装置， 其特 征在于， 还 包括： 用于预存通过 数据同步模块 根据当前的时间偏移量 提取的增量数据的预设缓存 模块； 所述通过数据总 线获取所述增量数据包括： 以队列的形式通过数据总 线从所述预设缓 存模块中获取 所述增量数据。 10.根据权利要求6所述的审计数据同步采集装置， 其特征在于， 所述通过字段映射处 理完成数据的转换， 包括： 根据所述预设源端数据库 与非关系型 数据库的字段映射关系， 完成数据的转换。 11.一种审计数据同步采集设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于调用并执行所述计算机程序， 以实现如权利要求1 ‑5中任一项所述审计数 据同步采集方法的步骤。 12.一种存储介质， 其特征在于， 包括软件程序， 所述软件程序适于由处理器执行如权 利要求1‑5中任一所述审计数据同步采集方法的步骤。权　利　要　求　书 2/2 页 3 CN 114996020 A 3