(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211091952.X (22)申请日 2022.09.07 (65)同一申请的已公布的文献号 申请公布号 CN 115168367 A (43)申请公布日 2022.10.11 (73)专利权人 太极计算机股份有限公司 地址 100191 北京市海淀区北四环中路21 1 号 专利权人 中电科大数据研究院有限公司 (72)发明人 吕灏　韩国权　李庆　胥月　 黄海峰　蔡惠民　 (74)专利代理 机构 北京智桥联合知识产权代理 事务所(普通 合伙) 11560 专利代理师 金光恩(51)Int.Cl. G06F 16/22(2019.01) G06F 16/2457(2019.01) G06F 16/27(2019.01) G06F 11/14(2006.01) (56)对比文件 CN 106682227 A,2017.0 5.17 CN 106991113 A,2017.07.28 CN 108572 976 A,2018.09.25 CN 114637475 A,202 2.06.17 CN 109976941 A,2019.07.0 5 CN 110413687 A,2019.1 1.05 审查员 马丽莉 (54)发明名称 一种大数据的数据配 置方法和系统 (57)摘要 本发明涉及信息处理领域， 具体公开了一种 大数据的数据配置方法和系统， 所述方法包括配 置名称节 点， 数据节点和用户端， 其中， 所述名称 节点被配置为中心管理服务器， 在数据节点设置 为存储节点时， 在其存储的主、 副分片上通过确 认消息的交互完成主、 副分片 的数据同步， 同时 设置日志事件信息， 满足用户主、 副分片数据不 一致时信息的传输处理需求， 在通过日志事件信 息追平情形 下， 提高了数据处 理效率。 权利要求书1页 说明书6页 附图1页 CN 115168367 B 2022.11.25 CN 115168367 B 1.一种大 数据的数据配置方法， 其特 征在于： 配置名称节点， 数据节点和用户端， 其中， 所述名称节点被配置为中心管理服务器， 描述性元数据以列表形式存储在内存 中， 响应用户端对文件的访问要求， 提供内部元 数据服务； 所述数据节点用于存储用户端需要的数据， 以分块的方式存储数据， 设置固定的每个 块的大小， 并进行备份存储； 接收名称节点转 发的控制 信息， 在名称节点的统一调 度下进行 数据块的创建、 删除和复制工作， 并周期性 地向名称节点报告； 用户端通过名称节点执行数据的访问； 其中在数据节点中设置数据的主分片和副分 片； 为保持主分片与副分片之间的数据一致性， 主、 副分片通过确认消息的交互完成主、 副 分片的数据同步； 其中， 所述主、 副分片通过确认消息的交互完成主、 副分片的数据同步具体为： 在两个 分片上同时处理与其关联 的关系数据库操作， 当主分片 需要提交时， 同时向副分片发出提 交请求， 如果副分片已经处理完本次任务， 它会直接返回主分片一个ACK消息， 如果副分片 还没有完成本次任务， 它会返回主分片一个NACK消息， 用以触发表明是否需要等待， 并做日 志记录； 其中， 用以触发表明是否需要等待， 并做日志记录包括： 数据节点中对主、 副分片的一 致性设置回退值， 所述回退值用于标识副本和主本之间的不一致性的容忍度， 当主、 副分片 中有任意一个分片无法工作时， 允许主、 副分片之 间的数据非一致性， 并允许集群整体的事 务强制提交； 在 存储数据节点的预留的分片上保留事件日志， 并记录事件操作， 所述事件操 作为记录故障分片上丢失的操作； 当名称节点检测到副本数量比预先设定的副本数量阈值低时， 从日志中探测出需要恢 复的事件操作， 调用进程执行故障节点分片向健康分片上数据的数据追平事件操作， 完成 副本数据的更新。 2.如权利要求1所述的方法， 其特征在于： 所述以分块的方式存储数据， 设置固定的每 个块的大小， 并进行备份存储包括： 默认存储三份， 分别是本机的一份、 同机架机器上 的一 份和其它机架的一份。 3.如权利要求2所述的方法， 其特征在于： 配置一个名称节点具有至少一个备份名称节 点。 4.如权利要求3所述的方法， 其特征在于： 所述备份名称节点定时进行名称节点备份， 通过自动切换保证正常运行。 5.如权利要求4所述的方法， 其特征在于： 当用户端创建文件时， 用户端先将文件数据 缓存到本地的一个临时文件中， 当这个临时文件积累的数据达到阈值后， 用户端才与名称 节点发起连接 。 6.如权利要求5所述的方法， 其特征在于： 各个用户端为数据节点中的元数据设置有效 标记状态信息， 当出现系统故障， 更新操作前的有效标记状态信息， 并保存在日志中。 7.一种大数据的数据配置系统， 所述系统包括名称节点、 数据节点和用户端， 用于实现 权利要求1 ‑6中任一所述的方法。权　利　要　求　书 1/1 页 2 CN 115168367 B 2一种大数据的数据配置方 法和系统 技术领域 [0001]本发明涉及信息处 理领域， 特别是一种大 数据的数据配置方法和系统。 背景技术 [0002]随着云计算能力的提升， 基于各行各业中的海量数据处理， 逐渐成为人们关注和 研究的热点； 将数据 挖掘的方法应用到各种领域， 成为 一种趋势。 [0003]在从大量的数据中挖掘 出有价值的信息供管理、 决策和调控参考使用的同时， 如 何使得在 海量存储的系统中， 保障数据的安全和一致性， 从而为用户在进 行处理和访问时， 能够及时安全地更新， 已经成为亟 待解决的问题。 发明内容 [0004]为解决上述问题之一， 本发明提出一种大 数据的数据配置方法和系统。 [0005]所述方法包括： 配置名称节点， 数据节点和用户端， 其中， 所述名称节点被配置为 中心管理服务器， 描述性元数据以列 表形式存储在内存中， 响应用户端对文件的访问要求， 并提供内部元 数据服务； [0006]所述数据节点用于存储用户端需要的数据， 以分块的方式存储数据， 设置固定的 每个块的大小， 并进 行备份存储； 接收名称节点转发的控制 信息， 在名称节点的统一调 度下 进行数据块的创建、 删除和复制工作， 并周期性 地向名称节点报告； [0007]用户端通过名称节点执行数据的访问； 其中在数据节点中设置数据的主分片和副 分片； 为保持主分片与副分片之间的数据一致性， 主、 副分片通过确认消息的交互完成主、 副分片的数据同步。 [0008]进一步， 所述主、 副分片通过确认消息的交互完成主、 副分片的数据同步具体为： 在两个分片上同时处理与其关联 的关系数据库操作， 当主分片 需要提交时， 同时向副分片 发出提交请求， 如果副分片已经处理完本次任务， 它会直接返回主分片一个ACK消息， 如果 副分片还没有完成本次任务， 它会返回主分片一个NACK消息， 用以触发表明是否需要等待， 并做日志 记录。 [0009]进一步， 所述以分块的方式存储数据， 设置固定的每个块的大小， 并进行备份存储 包括： 默认存 储三份， 分别是本 机的一份、 同机架机器上的一份和其它机架的一份。 [0010]进一步， 一个名称节点具有至少一个备份名称节点。 [0011]进一步， 所述备份名称节点定时进行名称节点备份， 通过自动切换保证集群正常 运行。 [0012]进一步， 当用户端创建文件时， 用户端先将文件数据缓存到本地的一个临时文件 中， 当这个临时文件积累的数据达 到阈值后， 用户端才与名称节点发起连接 。 [0013]进一步， 各个用户端为存储节点中的元数据设置有效标记状态信息， 当出现系统 故障， 更新操作前的有效标记状态信息， 并存在日志中。 [0014]进一步， 用以触发表明是否需要等待， 并做日志记录包括： 数据节点中对主副本的说　明　书 1/6 页 3 CN 115168367 B 3