(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210458572.9 (22)申请日 2022.04.28 (71)申请人 深圳市华曦达科技股份有限公司 地址 518057 广东省深圳市南 山区粤海街 道高新区社区科技南十二路18号长虹 科技大厦1901 (72)发明人 李波　王子立　 (74)专利代理 机构 北京惟盛达知识产权代理事 务所(普通 合伙) 11855 专利代理师 杨青 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/23(2019.01) G06F 16/28(2019.01) (54)发明名称 一种HBase数据增量同步的方法、 装置及系 统 (57)摘要 本申请公开提供了一种HBase数据增量同步 的方法、 装置及系统， 其中， 该方法包括： 发送关 键字获取请求； 接收增量关键字， 增量关键字是 通讯对端根据HBase更新的业务数据确定的； 向 HBase发送增量获取请求， 增量获取请求包括增 量关键字； 接收增量数据， 增量数据是HBase根据 增量关键字从更新的业务数据获取的； 将增量数 据导入Hive数据仓， 根据HBase的协处理器 特性， 在数据插入HBase成功后， 将增量关键字缓存在 协处理器， 有客户端调用增量关键字， 并根据增 量关键字从Hbase获取相应增量数据， 解决了现 有技术中HBase扫描全表造成的资源浪费和延 迟， 能够实现快速高效的获取增量数据。 权利要求书2页 说明书8页 附图5页 CN 114579667 A 2022.06.03 CN 114579667 A 1.一种HBase 数据增量同步的方法， 其特 征在于， 包括： 接收数据更新请求， 所述数据更新请求是根据HBase更新的业务数据生成的， 所述数据 更新请求包括HBase的增量关键 字； 根据所述数据更新请求更新缓存的增量关键 字； 接收增量关键 字获取请求； 发送缓存内更新的增量关键字， 以便通讯对端根据所述增量关键字确定HBase的增量 数据。 2.一种HBase 数据增量同步的方法， 其特 征在于， 包括： 发送关键 字获取请求； 接收增量关键 字， 所述增量关键 字是通讯对端根据HBase 更新的业 务数据确定的； 向HBase发送增量获取请求， 所述增量获取请求包括所述增量关键 字； 接收增量数据， 所述增量数据是所述HBase根据所述增量关键字从更新的业务数据获 取的； 将所述增量数据导入Hive 数据仓。 3.根据权利要求2所述的HBase数据增量同步的方法， 其特征在于， 在所述将所述增量 数据导入Hive 数据仓之前， 所述方法还 包括： 将所述增量数据和Hive映射表中的元 数据进行比对； 所述将所述增量数据导入Hive数据仓为： 若所述增量数据和Hive映射表中的元数据一 致， 则将所述增量数据导入Hive 数据仓。 4.根据权利要求2所述的HBase数据增量同步的方法， 其特征在于， 所述发送关键字获 取请求为： 按照预设时间发送关键 字获取请求。 5.一种HBase 数据增量同步的装置， 其特 征在于， 包括： 更新请求接收模块， 用于接收数据更新请求， 所述数据更新请求是根据HBase更新的业 务数据生成的， 所述数据更新请求包括HBase的增量关键 字； 更新执行模块， 用于根据所述数据更新请求更新缓存的增量关键 字； 关键字请求接收模块， 用于 接收增量关键 字获取请求； 关键字发送模块， 用于发送缓存内更新的增量关键字， 以便通讯对端根据所述增量关 键字确定HBase的增量数据。 6.一种HBase 数据增量同步的装置， 其特 征在于， 包括： 关键字请求模块， 用于发送关键 字获取请求； 关键字接收模块， 用于接收增量关键字， 所述增量关键字是通讯对端根据HBase更新的 业务数据确定的； 增量获取模块， 用于向HBase发送增量获取请求， 所述增量获取请求包括所述增量关键 字； 增量接收模块， 用于接收增量数据， 所述增量数据是所述HBase根据所述增量关键字从 更新的业 务数据获取的； 数据同步模块， 用于将所述增量数据导入Hive 数据仓。 7.一种HBase 数据增量同步的系统， 其特 征在于， 包括： HBase， 接收业务数据， 根据更新的业务数据生成数据更新请求， 所述数据更新请求包权　利　要　求　书 1/2 页 2 CN 114579667 A 2括HBase的增量关键 字， 向协处 理器发送所述数据更新请求； 所述协处理器， 接收所述HBase发送的数据更新请求， 根据所述数据更新请求更新缓存 的增量关键字； 在接 收到客户端发送的增量关键字获取请求后， 向所述客户端发送缓存内 更新的增量关键 字； 客户端， 向所述协处理器发送所述增量关键字获取请求， 接收所述协处理器发送的增 量关键字， 根据所述增量关键 字确定HBase的增量数据。 8.根据权利要求7所述的一种HBase数据增量同步的系 统， 其特征在于， 所述客户端还 用于： 将所述增量数据和Hive映射表中的元数据进行比对； 所述将所述增量数据导入Hive 数据仓为： 若所述增量数据和 Hive映射表 中的元数据一致， 则将所述增量数据导入Hive数 据仓。 9.一种计算机设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当计算机设备运行时， 所述处理器与所述存储器之间通过 总线通信， 所述机器可读指 令被所述处理器执行时执行如权利要求 1至4中任一项 所述的一 种HBase数据增量同步的方法。 10.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处理器运行时执行如权利要求1至4中任一项所述的一种HBase数据增 量同步的方法。权　利　要　求　书 2/2 页 3 CN 114579667 A 3