(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210369249.4 (22)申请日 2022.04.08 (71)申请人 平安资产管理有限责任公司 地址 200120 上海市浦东 新区中国(上海) 自由贸易试验区陆家嘴环路1333号 29-31楼 (72)发明人 季小闯　刘剑　蔡丰令　朱嘉玲　 (74)专利代理 机构 北京英特普罗知识产权代理 有限公司 1 1015 专利代理师 黄胜波 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/242(2019.01)G06F 16/2455(2019.01) G06F 16/25(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) (54)发明名称 基于云存储的数据同步方法、 装置、 设备及 存储介质 (57)摘要 本发明涉及云存储技术领域， 公开了一种基 于云存储的数据同步方法、 装置、 设备及存储介 质， 包括： 将数据湖中出现更新的数据设为更新 数据， 识别更新数据的更新类型； 根据更新类型 对更新数据进行数据分析处理得到分析数据， 整 合分析数据和更新类型得到结构更新数据； 对结 构更新数据进行数据预处理得到待更新数据， 将 待更新数据保存至缓存库中； 向同步客户端发送 更新公告， 接收同步客户端发送的更新请求， 根 据更新请求对同步客户端进行认证处理得到认 证权限信息； 将缓存库中相应于认证权限信息的 待更新数据作为目标更新数据。 本发 明避免了从 所述数据湖中获取数据导致同步效率低下的问 题， 实现了在保证同步准确度的前提下， 保证同 步效率的技 术效果。 权利要求书2页 说明书13页 附图4页 CN 114925044 A 2022.08.19 CN 114925044 A 1.一种基于云存 储的数据同步方法， 其特 征在于， 包括： 当监测到数据湖中出现数据更新时， 将所述数据湖中出现更新的数据设为更新数据， 识别所述更新数据的更新类型； 根据所述更新类型对所述更新数据进行数据分析处理得到分析数据， 整合所述分析数 据和所述更新类型 得到结构更新数据； 对所述结构更新数据进行数据 预处理得到待更新数据， 将所述待更新数据保存至预置 的缓存库中； 向同步客户端发送更新公告， 接收所述同步客户端发送的更新请求， 根据所述更新请 求对同步 客户端进行认证处 理得到认证权限信息； 将所述缓存库中相应于所述认证权限信 息的待更新数据作为目标更新数据， 将所述目 标更新数据传送至所述同步 客户端。 2.根据权利要求1所述的数据同步方法， 其特征在于， 所述当监测到数据湖中出现数据 更新时， 将所述数据湖中出现更新的数据设为更新数据， 识别所述更新数据的更新类型之 前， 所述方法还 包括： 与同步客户端构建通信连接和同步连接， 所述通信连接用于与 所述同步客户端之间进 行通信交 互， 所述同步连接是用于与所述同步 客户端之间进行 数据同步的同步机制。 3.根据权利要求1所述的数据同步方法， 其特征在于， 所述当监测到数据湖中出现数据 更新时， 将所述数据湖中出现更新的数据设为更新数据， 识别所述更新数据的更新类型， 包 括： 监听数据湖中是否接收到同步客户端发送的数据更新指令， 若是， 则判定所述数据湖 出现数据更新， 并将发送所述数据更新指令的同步 客户端设为上传客户端； 将数据湖中相应于所述数据更新指令的数据设为所述更新数据； 识别所述数据湖根据 所述数据 更新指令， 对所述数据湖中的数据进行操作 形成所述更 新数据的操作方法； 若所述操作方法为变更 方法， 则判定所述更新类型为全量类型； 若所述操作方法为 新增方法， 则判定所述更新类型为增量类型。 4.根据权利要求1所述的数据同步方法， 其特征在于， 所述根据 所述更新类型对所述更 新数据进行 数据分析处 理得到分析 数据， 包括： 识别所述更新类型； 若所述更新类型为全量类型， 则从所述数据湖中提取具有所述更新数据的数据表， 并 将所述数据表设为目标 数据； 若所述更新类型为增量类型， 则从所述数据湖中提取更新数据， 并将所述更新数据设 为目标数据； 对所述目标数据进行数据清洗处理， 以消除所述目标数据中的异常数据并得到清洗数 据； 按照预置的数据规则对所述清洗数据进行数据转换， 使所述清洗数据的数据格式和数 据颗粒度转 为符合所述数据规则的分析 数据。 5.根据权利要求1所述的数据同步方法， 其特征在于， 所述对所述结构更新数据进行数 据预处理得到待更新数据， 包括：权　利　要　求　书 1/2 页 2 CN 114925044 A 2根据预置的至少一个权限规则删除所述结构更新数据中的数据内容， 得到至少一个相 应于所述权限规则的权限更新数据； 对所述权限更新数据进行数据压缩处理得到压缩更新数据， 并对所述压缩更新数据进 行加密处 理得到待更新数据。 6.根据权利要求1所述的数据同步方法， 其特征在于， 所述根据 所述更新请求对同步客 户端进行认证处 理得到认证权限信息， 包括： 提取所述更新请求中表征所述同步客户端身份的身份信 息， 将所述身份信 息与预置的 认证库中的认证权限信息进行比对； 判断所述认证库中是否具有与所述身份信息对应的认证权限信息； 若是， 则获取与所述身份信息对应的认证权限信息； 若否， 则向所述同步 客户端发送无权同步消息 。 7.根据权利要求1所述的数据同步方法， 其特征在于， 所述将所述目标更新数据传送至 所述同步 客户端之后， 所述方法还 包括： 识别所述同步客户端中相应于所述待更新数据的数据表， 将所述待更新数据录入到所 述数据表中； 所述将所述待更新数据录入到所述数据表中之后， 所述方法还 包括： 将所述待更新数据上传至区块链中。 8.一种基于云存 储的数据同步装置， 其特 征在于， 包括： 更新识别模块， 用于在监测到数据湖中出现数据更新时， 将数据湖中出现更新的数据 设为更新数据， 识别所述更新数据的更新类型； 结构更新模块， 用于根据所述更新类型对所述更新数据进行数据分析处理得到分析数 据， 整合所述分析 数据和所述更新类型 得到结构更新数据； 预处理模块， 用于对所述结构更新数据进行数据预处理得到待更新数据， 将所述待更 新数据保存至预置的缓存库中； 公告认证模块， 用于向同步客户端发送更新公告， 接收所述同步客户端发送的更新请 求， 根据所述更新请求对同步 客户端进行认证处 理得到认证权限信息； 数据同步模块， 用于将所述缓存库中相应于所述认证权限信 息的待更新数据作为目标 更新数据， 将所述目标 更新数据传送至所述同步 客户端。 9.一种计算机设备， 其包括存储器、 处理器以及存储在存储器上并可在处理器上运行 的计算机程序， 其特征在于， 所述计算机设备 的处理器执行所述计算机程序时实现权利要 求1至7任一项所述数据同步方法的步骤。 10.一种计算机可读存储介质， 所述可读存储介质上存储有计算机程序， 其特征在于， 所述可读存储介质存储的所述计算机程序被处理器执行时实现权利要求1至7任一项所述 数据同步方法的步骤。权　利　要　求　书 2/2 页 3 CN 114925044 A 3