(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210439869.0
(22)申请日 2022.04.25
(71)申请人 平安科技 (深圳) 有限公司
地址 518000 广东省深圳市福田区福田街
道福安社区益田路5033号平 安金融中
心23楼
(72)发明人 周永雄
(74)专利代理 机构 深圳市沃德知识产权代理事
务所(普通 合伙) 44347
专利代理师 高杰 于志光
(51)Int.Cl.
G06F 40/174(2020.01)
G06F 16/23(2019.01)
(54)发明名称
数据导入方法、 装置、 电子设备及存 储介质
(57)摘要
本发明涉及数据处理技术, 揭露一种数据导
入方法, 包括: 对预设服务器节点集中的服务器
节点进行筛选得到目标服务器节点; 将导入
Excel表中的数据分次写入目标服务器节点的预
设缓存区域, 得到对应的导入缓存数据, 并将所
有导入缓存 数据依次导入目标数据表。 本发明还
涉及一种区块链技术, 所述导入Excel表可以存
储在区块链节 点中。 本发明还提出一种数据导入
装置、 设备以及介质。 本发明可 以提高数据导入
的效率。
权利要求书2页 说明书9页 附图2页
CN 114841129 A
2022.08.02
CN 114841129 A
1.一种数据导入方法, 其特 征在于, 所述方法包括:
接收用户客户端的数据导入 任务;
对预设服务器节点集中的每个服务器节点的地址进行哈希计算, 并根据计算得到的哈
希值对所述 服务器节点 集进行筛 选, 得到目标服 务器节点;
提取所述数据 导入任务中的导入Excel表, 将所述导入Excel表中的数据分次写入所述
目标服务器节点的预设缓存区域, 得到对应的导入缓存数据, 并将所有所述导入缓存数据
依次导入目标 数据表。
2.如权利要求1所述的数据导入方法, 其特征在于, 所述对预设服务器节点集中的每个
服务器节点的地址进行哈希计算, 并根据计算得到的哈希值对所述服务器节点集进行筛
选, 得到目标服 务器节点, 包括:
对每个所述服务器节点的地址进行哈希计算, 得到对应的节点哈希值; 汇总全部所述
节点哈希值, 得到节点哈希值 集;
获取所述客户端的地址信息, 将所述 地址信息进行哈希计算, 得到客户端哈希值;
根据所述客户端哈希值及所述节点哈希值集对所述服务器节点集中的服务器节点进
行哈希值匹配筛 选, 得到目标服 务器节点。
3.如权利要求2所述的数据导入方法, 其特征在于, 所述根据所述客户端哈希值及所述
节点哈希值集对所述服务器节点集中的服务器节点进 行哈希值匹配筛选, 得到目标服务器
节点, 包括:
利用预设的数值区间构建哈希值环;
将所述客户端哈希值与所述节点哈希值集中的每个节点哈希值均映射为所述哈希值
环上对应的点;
筛选所述哈希值环上 所述客户端哈希值对应的点在预设方向上的相邻点;
将所述相邻点对应的节点哈希值确定为目标节点哈希值;
选择所述目标节点哈希值对应的服 务器节点 为目标服 务器节点。
4.如权利要求1所述的数据导入方法, 其特征在于, 所述将所述导入Excel表中的数据
分次写入所述 目标服务器节点的预设缓存区域, 得到对应的导入缓存数据, 并将所有所述
导入缓存数据依次导入目标 数据表, 包括:
获取所述导入Excel表中每行 数据的数据容 量, 得到对应的行 数据容量;
获取所述缓存区域的区域容量, 根据所述行数据容量及所述行数据容量对所述导入
Excel表中的所有行 数据分组, 得到不同的行 数据序列;
获取所述行数据序列中每行数据在所述导入Excel表中对应的行编号, 计算所述行数
据序列中所有行 数据的行编号的最大值, 得到对应的序列编号;
将所有所述序列编号按照从小到大的顺序进行排序, 得到序列编号序列;
选取所述序列编号序列中第一个序列编号对应的行 数据序列, 得到目标 行数据序列;
将所述目标行数据序列中的所有行数据写入所述预设缓存区域, 得到对应的导入缓存
数据;
将所述导入缓存数据导入所述目标数据表后, 删除所述预设缓存区域中对应的导入缓
存数据, 更新所述序列编号序列, 并判断更新后的序列编号序列中序列编号的数量是否等
于零, 当更新后的序列编号序列中的序列编号的数量等于零, 则向所述客户端发送任务成权 利 要 求 书 1/2 页
2
CN 114841129 A
2功通知, 当更新后的序列编号序列中的序列编号的数量不等于零, 则 返回所述选取所述序
列编号序列中第一个序列编号对应的行 数据序列, 得到目标 行数据序列步骤。
5.如权利要求 4所述的数据导入方法, 其特 征在于, 所述更新所述序列编号序列, 包括:
将所述序列编号序列中的第一个序列编号删除, 得到更新后的序列编号序列。
6.如权利要求1至5中任意一项所述的数据导入方法, 其特征在于, 所述将所述导入
Excel表中的数据分次写入所述目标服务器节点的预设缓存区域, 得到对应的导入缓存数
据, 并将所有所述 导入缓存数据依次导入目标 数据表, 包括:
根据所述预设行 数构建行编号区间;
将所述导入Excel表中所述行编号区间内对应行编号的行数据写入所述预设缓存区
域, 得到对应的导入缓存数据;
将所述导入缓存数据导入所述目标数据表后, 删除所述预设缓存区域中对应的导入缓
存数据, 更新所述行编号区间, 并判断更新后的行编号区间左端点是否大于所述导入Excel
表中最后一行编号, 当更新后的行编号区间左端点大于所述导入Excel表中最后一行编号,
则向所述客户端发送任务成功通知, 当更新后的行编号区间左端点不大于所述导入Excel
表中最后一行编号, 则返回所述 步骤B。
7.如权利要求1至6中任意一项所述的数据导入方法, 其特征在于, 所述更新所述行编
号区间, 包括:
将所述行编号区间的左右端点分别增 加所述预设行 数, 得到更新后的行编号区间。
8.一种数据导入 装置, 其特 征在于, 包括:
任务接收模块, 用于 接收用户客户端的数据导入 任务;
节点筛选模块, 用于对预设服务器节点集中的每个服务器节点的地址进行哈希计算,
并根据计算得到的哈希值对所述 服务器节点 集进行筛 选, 得到目标服 务器节点;
数据导入模块, 用于提取所述数据导入任务中的导入Excel表, 将所述导入Excel表中
的数据分次写入所述 目标服务器节点的预设缓存区域, 得到对应的导入缓存数据, 并将所
有所述导入缓存数据依次导入目标 数据表。
9.一种电子设备, 其特 征在于, 所述电子设备包括:
至少一个处 理器; 以及,
与所述至少一个处 理器通信连接的存 储器;
其中, 所述存储器存储有可被所述至少一个处理器执行的计算机程序, 所述计算机程
序被所述至少一个处理器执行, 以使 所述至少一个处理器能够执行如权利要求 1至7中任一
项所述的数据导入方法。
10.一种计算机可读存储介质, 存储有计算机程序, 其特征在于, 所述计算机程序被处
理器执行时实现如权利要求1至7中任一项所述的数据导入方法。权 利 要 求 书 2/2 页
3
CN 114841129 A
3
专利 数据导入方法、装置、电子设备及存储介质
安全报告 >
其他 >
文档预览
中文文档
14 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 思考人生 于 2024-02-24 08:49:54上传分享