(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211199076.2 (22)申请日 2022.09.29 (71)申请人 武汉华莘 科技有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区高新 二路129号 (72)发明人 夏超　赵生翼　刘峰　伍仪强　 苏威　邓彬彬　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 祝蓉蓉 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/26(2019.01) (54)发明名称 B/S架构下异步大数据量数据导入方法、 系 统、 介质及设备 (57)摘要 本发明公开提供一种B/S架构下异步大数据 量数据导入方法、 系统、 介质及设备， 方法包括： 客户端发起数据导入请求， 将待导入源数据文件 上传至服务端， 生成请求导入任务， 将任务加入 后台任务列表； 客户端与服务端建立WebSocket 连接， 并在服务端订阅Redis中对应后台导入任 务的“导入进度及状态频道 ”； 服务端根据添加的 后台任务列表信息， 建立后台任务进行数据导入 操作并同步记录和发布导入进度及导入状态信 息； 导入完成后， 客户端根据导入状态选择是否 下载完整数据导入状态记录数据文件并进行后 续处理。 本发 明将系统平台外部大数据量数据导 入系统平台数据库， 并同步显示导入进度及状 态、 完整记录全部数据导入结果状态， 提高数据 导入效率。 权利要求书2页 说明书8页 附图2页 CN 115525709 A 2022.12.27 CN 115525709 A 1.B/S架构下异步大 数据量数据导入方法， 其特 征在于， 包括： S1， 客户端发起数据导入请求， 将待导入源数据文件上传至服务端， 然后生成请求导入 任务， 并将任务加入后台任务列表； S2， 客户端与服务端建立WebSocket连接， 并在服务端订阅Redis中对应后台导入任务 的“导入进度及状态频道 ”C1， 用于同步接收并显示 导入进度及导入状态； S3， 服务端根据S1中添加的后 台任务列表信息， 建立后 台任务进行数据导入操作并同 步记录和发布导入进度及导入状态信息； S4， 导入完成后， 客户端获取导入状态， 根据导入状态选择是否下载完整数据导入状态 记录数据文件并进行后续处 理。 2.根据权利 要求1所述B/S架构下异步大数据量数据导入方法， 其特征在于， S1还包括： 服务端在监听到数据导入请求后， 对待导入文件的合法性进 行判断， 若合法， 则将源数据文 件写入服务端指 定磁盘文件， 然后生成请求导入任务， 并将任务加入后台任务列表； 若不合 法， 则当前 数据导入请求结束。 3.根据权利要求1所述B/S架构下异步大 数据量数据导入方法， 其特 征在于， S2还 包括： 客户端发起WebSocket连接请求， 等与服务端的WebSocket连接建立后接收并同步显示 导入进度及导入状态； 服务端主服务程序 监听到客户端请求后建立Websocket连接， 并订阅Redis中对应后台 导入任务的 “导入进度及状态频道 ”C1， 当Websocket服务端接收到 “导入进度及状态频道 ” C1上发布的导入进度及状态消息时， 通过Websocket连接同步发送给客户端。 4.根据权利要求1所述B/S架构下异步大 数据量数据导入方法， 其特 征在于， S3还 包括： S301， 服务器端启动 后台数据导入 任务， 并初始化 导入任务状态数据； S302， 调用Redis服务接口， 将初始任务状态数据写入Redis数据库R2， 同时向 “导入进 度及状态频道 ”C1发布任务已启动状态消息； S303， 调用Redis服 务接口， 从 “导入模板字典库”R1查询本任务对应的导入 模板字典； S304， 根据S303的查询结果是否有对应的导入模板字典进行下一步操作， 当判断结果 为“是”则进入S3 06； S306， 从磁盘读取S10 3上传的源数据文件F1， 获取 数据总行 数； S307， 从S306读取的源数据中取 首行数据， 记为heads； S308， 从S306读取的源数据中顺序取一行 数据； S309， 对S308所取数据的每一列， 以S307中对应heads值为字段名称， 结合S303中导入 模板字典对相应字段 的描述进行数据有效性验证， 如果该行数据全部字段都有效， 则进入 S310， 否则进入S312； S310， 将S308所取数据， 以S307中对应heads值为字段名称， 结合S303中导入模板字典 对相应字段的描述， 组装生成数据库操作语句， 然后连接数据库D1调用对应数据库服务接 口； S311， 等待并接收S310的数据库服 务接口调用返回结果； S312， 调用Redis服务接 口， 将该任务的当前状态更新到任务状态数据R2， 将该任务的 当前进度及状态信息发布到 “导入进度及状态频道 ”C1， 将当前行导入结果状态顺序写入 “导入结果状态 记录文件 ”F2；权　利　要　求　书 1/2 页 2 CN 115525709 A 2S313， 判断当前导入行是否为最后一行， 如果 “是”则进入S314， 否则进入S308， 并重复 S308及其后步骤； S314， 调用Redis服务接 口， 将该任务结束状态更新到任务状态数据R2， 将该任务的当 前进度及状态信息发布到 “导入进度及状态频道 ”C1， 结束任务。 5.根据权利 要求4所述B/S架构下异步大数据量数据导入方法， 其特征在于， S3还包括： 当S304判断结果 为“否”则进入S3 05； S305， 调用Redis服务接口， 更新Redis数据库中的任务状态数据R2， 同时向 “导入进度 及状态频道 ”C1发布任务执 行失败及失败原因状态消息 。 6.根据权利要求1所述B/S架构下异步大 数据量数据导入方法， 其特 征在于， S4还 包括： 客户端发起获取导入请求结果请求； 服务端主服务程序监听到客户端请求， 调用对应Redis服务接口， 从任务状态数据R2读 取任务状态数据， 并生成导入结果状态记录文件F2的URL链接， 返回给客户端， 客户端根据 需求选择 是否下载导入结果状态 记录文件F2， 或者进行后续操作。 7.B/S架构下异步大数据量数据导入系统， 其特征在于， 包括： 通过网络相互连接的客 户端和服务端； 所述客户端， 用于发起数据导入请求， 将待导入源数据文件上传至服务端， 以及与服务端建立WebSocket连接， 以同步接收并显示导入进度及导入状态； 所述服务端， 用于接收客户端请求， 订阅Redis中对应后台导入任务的 “导入进度及状态频道 ”C1， 生成请 求导入任务， 将任务加入后台任务列 表， 根据添加的后台任务列 表信息， 建立后台任务进 行 数据导入操作， 并同步记录和发布导入进度及导入状态信息； 所述客户端， 还用于导入完成 后， 获取导入状态， 根据导入状态选择是否下载完整数据导入状态记录数据文件并进行后 续处理。 8.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 其中所述计算机程序被处理器执行时， 实现如权利要求 1至6中任一项 所述的B/S架构 下异步大 数据量数据导入方法的步骤。 9.一种计算机设备， 其特征在于， 所述计算机设备包括处理器、 存储器， 以及存储在所 述存储器上并可被所述处理器执行的计算机程序， 其中所述计算机程序被所述处理器执行 时， 实现如权利要求1至 6中任一项所述的B/S架构下异步大 数据量数据导入方法的步骤。权　利　要　求　书 2/2 页 3 CN 115525709 A 3