(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210514163.6 (22)申请日 2022.05.12 (71)申请人 网易 （杭州） 网络有限公司 地址 310052 浙江省杭州市滨江区长河街 道网商路59 9号4幢7层 (72)发明人 於圣楠　张宇昂　吴剑飞　刘柏　 (74)专利代理 机构 北京清源汇知识产权代理事 务所(特殊普通 合伙) 11644 专利代理师 冯德魁 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/23(2019.01) G06F 16/24(2019.01) (54)发明名称 一种数据处 理方法及设备 (57)摘要 本申请提供了一种数据处理方法及设备， 涉 及计算机技术领域， 包括： 确定 Kafka消息队列中 的目标存储数据， 其中Kafka消息队列中包括多 个存储设备对应的存储数据。 根据Kafka消息队 列的数据存储信息， 确定目标存储 数据对应的第 一存储设备的地址信息， 和目标存储 数据的数据 副本所对应的第二存储设备的地址信息。 根据 Kafka消息队列的主题分区信息， 为目标存储数 据建立索引字段。 为目标存储数据建立索引表， 其中， 索引表 为目标存储数据的索引字段与第一 存储设备的地址信息和第二存储设备的地址信 息的对应关系表 。 本申请为Kafka建立了索引表， 可以方便用户对Kafka中的数据直接进行查询， 提高了数据查询的速度和效率。 权利要求书3页 说明书12页 附图4页 CN 115080560 A 2022.09.20 CN 115080560 A 1.一种数据处 理方法， 其特 征在于， 所述方法包括： 确定Kafka消息队列中的目标存储数据； 其中， 所述Kafka消息队列中包括多个存储设 备对应的存 储数据； 根据所述Kafka消息队列的数据存储信息， 确定所述目标存储数据对应的第一存储设 备的地址信息， 和所述目标存 储数据的数据副本所对应的第二存 储设备的地址信息； 根据所述Kafka消息队列的主题分区信息， 为所述目标存 储数据建立索引字段； 为所述目标存储数据建立索引表； 其中， 所述索引表为所述目标存储数据的索引字段 与所述第一存 储设备的地址信息和所述第二存 储设备的地址信息的对应关系表。 2.根据权利要求1所述的处 理方法， 其特 征在于， 所述方法还 包括： 根据用户查询请求确定所述目标存 储数据中的待查询数据； 确定所述待查询数据的索引字段； 根据所述待查询数据的索引字段， 在所述索引表中确定所述待查询数据对应的所述第 一存储设备的地址信息和所述第二存 储设备的地址信息； 确定所述第一存 储设备和所述第二存 储设备中的目标设备； 根据所述目标设备的地址信 息发送数据查询 请求； 所述数据查询 请求用于指示所述目 标设备获取并返回所述待查询数据的数值。 3.根据权利要求2所述的处 理方法， 其特 征在于， 所述方法还 包括： 建立针对于所述目标设备的查询记录； 所述查询记录用于指示当接收到所述用户查询 请求后， 优先向所述目标设备发送所述数据查询请求。 4.根据权利 要求1至3任一项所述的处理方法， 其特征在于， 所述确定Kafka数据库中的 目标存储数据， 包括： 根据所述Kafk a消息队列的主题分区信息， 确定所述Kafk a消息队列的目标主题下的所 述目标存 储数据； 其中， 所述Kafka消息队列对应多个主题； 所述根据所述Kafka消息队列的数据存储信息， 确定所述目标存储数据对应的第一存 储设备的地址信息， 和所述 目标存储数据的数据副本所对应的第二存储设备 的地址信息， 包括： 根据所述Kafka消息队列的数据存 储信息， 确定所述目标存 储数据对应的数据副本； 确定所述目标主题对应的分区信息； 根据所述目标主题对应的分区信 息， 确定所述目标存储数据对应的第 一分区地址和所 述数据副本对应的第二分区地址； 根据所述目标存储数据对应的第一分区地址确定所述第一存储设备的地址信息； 其 中， 所述第一存 储设备的地址信息包括所述第一分区地址和第一分区地址的地址偏移量； 根据所述数据副本对应的第 二分区地址， 确定所述第 二存储设备的地址信息； 其中， 所 述第二存 储设备的地址信息包括所述第二分区地址和第二分区地址的地址偏移量。 5.根据权利要求1至4任一项所述的处理方法， 其特征在于， 所述为所述目标存储数据 建立索引字段， 包括： 当所述目标存储数据为实时查询数据时， 监测所述Kafka消息队列中的所述目标存储 数据； 根据监测结果确定所述目标存 储数据的更新状态；权　利　要　求　书 1/3 页 2 CN 115080560 A 2所述为所述目标存 储数据建立索引字段， 包括： 当所述目标存 储数据被更新时， 为所述目标存 储数据建立所述索引字段。 6.根据权利要求1至5任一项所述的处理方法， 其特征在于， 所述为所述目标存储数据 建立索引字段， 包括： 当所述目标存储数据为离线查询数据时， 在预设时间段内更新所述目标存储数据的索 引字段。 7.根据权利要求2至6任一项所述的处理方法， 其特征在于， 所述确定所述第一存储设 备和所述第二存 储设备中的目标设备， 包括： 确定所述第一存 储设备和所述第二存 储设备的负载状态； 根据所述第 一存储设备和所述第 二存储设备的负载状态， 确定所述第 一存储设备和所 述第二存 储设备中的所述目标设备。 8.根据权利要求2至6任一项所述的处理方法， 其特征在于， 所述确定所述第一存储设 备和所述第二存 储设备中的目标设备， 包括： 确定所述第一存 储设备和所述第二存 储设备的运行速率； 根据所述第 一存储设备和所述第 二存储设备的运行速率， 确定所述第 一存储设备和所 述第二存 储设备中的所述目标设备。 9.根据权利要求7 所述的处 理方法， 其特 征在于， 所述方法还 包括： 确定所述第一设备和所述第二设备中的多个所述目标设备； 所述根据所述目标设备的地址信息发送数据查询请求， 包括： 向多个所述目标设备同时发送所述数据请求信息 。 10.根据权利要求9所述的处 理方法， 其特 征在于， 所述方法还 包括： 接收多个所述目标设备发送的多个响应信息； 所述响应信息和所述数据请求信息对 应； 对所述多个响应信息进行合法性检测； 根据所述 合法性检测的检测结果， 确定所述多个响应信息中的目标响应信息； 根据所述目标响应信息确定所述待查询数据的数值。 11.一种数据处 理装置， 其特 征在于， 所述装置包括： 确定单元， 用于确定Kafk a消息队列中的目标存储数据； 其中， 所述Kafka消息队列中包 括多个存 储设备对应的存 储数据； 所述确定单元， 还用于根据所述Kafka消息队列的数据存储信息， 确定所述目标存储数 据对应的第一存储设备的地址信息和所述目标存储数据的数据副本所对应的第二存储设 备的地址信息； 建立单元， 用于根据所述Kafka消息队列的主题分区信息， 为所述目标存储数据建立索 引字段； 所述建立单元， 还用于为所述目标存储数据建立索引表； 其中， 所述索引表为所述目标 存储数据的索引字段与所述第一存储设备的地址信息和所述第二存储设备的地址信息的 对应关系表。 12.一种服 务器， 其特 征在于， 包括： 存 储器和处 理器、 所述存 储器和所述处 理器耦合； 所述存储器用于存 储一条或多条计算机指令；权　利　要　求　书 2/3 页 3 CN 115080560 A 3